Здавна Буй був місцем заслання - спочатку опальних бояр, а в другій половині XIX століття- революціонерів. Одним з перших ще в 1587 році сюди заслали князя Андрія Івановича Шуйського - дядька майбутнього царя Василя Івановича Шуйского8.
У XVII столітті посад швидко ріс і незабаром зайняв протилежний правий берег Костроми; трохи пізніше і за Вексей стали виникати слободи (у міру розширення міста посад увійшов в межі старовинного центру, зараз на його місці знаходиться площа Революції).
Перші два-три століття все життя в Буе проходила в основному в межах «стрілки» (місце злиття річок) і «кремля» (так жителі міста називали фортеця). Розташований відразу за ровом посад фактично був невеликим селом, своєрідною «околицею». Разом з селянами з віддалених селищ посадські торгували прямо під стінами «кремля». Так тут виникла торгова площа, що отримала, однак, відповідний офіційний статус лише через два століття. З часом її поділили на дві частини. У тій, що була ближче до Вексе, в 1870? Х роках звели торгові ряди, інша, хаотично забудовувати, виходила до пристані. Першу згодом назвали Торгової площею, друге - Сінний.
Згідно переписний книзі 1678, «передмістя Буй - посад на річці Костромі і на річці на Вексе. Невелика дерев'яна фортеця, що має трохи конусоподібну форму. Зліва направо з двох сторін омивається річками, з третього боку проритий рів, заповнений водою. Всередині фортеці з чотирьох сторін зроблено земляний вал 4-4,5 м заввишки. У фортеці 4 сторожові вежі. Найбільш широка частина фортеці - у бік рову. У середині цієї стіни йдуть ворота через рів. Всередині фортеці, ліворуч від воріт, - кріпосна церква, неподалік від неї в сторону Вексей - казарми для стрільців. Поруч - канцелярія управителя фортеці (наказовому хата. - Н.? В.), ще дві господарські будівлі та землянка для населення на випадок облоги. Фортеця, крім земляного валу, обнесена стіною - високим частоколом, він нижче веж і складається з колод із загостреними догори кінцями »9.
До цього можна додати наступне. Числився «передмістям Костроми» Буй відстояв від неї на сотню з гаком верст. Стіни його дерев'яної фортеці, перевищували у висоту п'ять метрів, на заході і на півночі йшли по? Над береговими кручами, повторюючи контур «стрілки».
У 1719 році Буй був включений до складу Костромської провінції; на початку 1770? х отримав статус повітового міста.
***
Одне з небагатьох описів Буя залишив служив тут інженер Федір Перелешин: «Гор. Буй при річці Костромі і на гирлі впадає в ону річки Вексей. За доказу нині живуть, від набігів татар розоряємо був і потім спалений і ніяких до тих часів письмових доказів не мають. А після онаго розорення обумовлений були коменданти і зарахований до Судіславль і нині поділяється будовою на чотири частини, які на плані показуються: церков три, обивательських дворів сімдесят, соляної казенний комору, питний будинок, магістрат, а по ревізії 160 душ. Промисел мають від продажу лісів і від хліборобства. <...
