Стародавнього Риму, перетворився з часом в потужну кам'яну фортифікацію, з якою дозорні могли спостерігати за бродом через Ендр.
У XII столітті замок належав Рідо або Рідель д'Азей - людині, що прославився своєю жорстокістю і прозваному «кодлом диявола». Генріх II Плантагенет захопив усі його володіння, які потім були повернуті Філіпом-Августом синові Рідо - Гуго, Тюреннскому лицареві, вірному васалові короля, який брав участь у битві при Бувіне. На початку XV століття замок мабуть належав герцогу Бургундському. Образу, завдану дофінові, майбутньому Карлу VII, і його армії, привело в 1418 до розправи з фортецею: 354 людини з гарнізону було вбито, а замок і село - спалені і розграбовані. З цього моменту через свої руїн місто отримало назву Азей-ле-Брюле (спалений). І тільки через століття на місці старої фортеці було зведено замок, який стоїть і донині. Щоб краще зрозуміти характерні особливості нового замку, необхідно відновити ланцюг історичних подій останніх років XV століття. Карл VIII і Людовик XII зробили військові походи в Італію і були вражені бурхливим розквітом мистецтва і культури на півострові. Повернувшись до Франції, вони привернули до свого двору численних італійських художників, яких змусили працювати на себе.
Долина Луари, яку з часів Карла VII облюбував двір, стала місцем, де ці художники залишили свій незгладимий слід. Італійський вплив, позначилося на архітектурі замку Амбуаз і виразилося в бувальцях замку Блуа, незабаром стало поширюватися на родовие замки аристократії і особняки багатих буржуа. Жиль Вертіло, власник частини маєтку в Азей-ле-Рідо, був на початку 1500 великим банкіром, батько якого - Мартін Бертело - обіймав посаду інтенданта Фінансової палати за Людовіка XI і Карлі VIII. Зі свого боку, Жиль також зробив блискучу кар'єру і став радником короля, головою Палати рахунків і правителем міста Тура. Його шлюб з Філіппою Леба, яка володіла основною частиною території в Азей, дав йому можливість розпоряджатися всім маєтком і розпочати роботи з будівництва замку.
Фінансова та політична підтримка, надана Жилю деякими членами його сім'ї, які займали відповідальні адміністративні пости, дозволила йому почати в 1518 році велику реконструкцію середньовічного замку. Влітку того ж року 120 каменярів під керівництвом Метра Етьєна Руссо почали роботи з укладання фундаменту. Спочатку потрібно було прибрати залишки зруйнованої фортеці і осушити територію, щоб забити палі, на яких повинна була триматися потужна конструкція. Для будівництва використали білий піщаник з долини річки Шер. Камінь привозили річковим шляхом до Порт-о-Шалаєв, біля Валлер, звідки залишилися 10 кілометрів його везли на возах.
Замок з його незвичайної Г-подібною формою знаменує собою перехід від готики до Ренесансу, стверджуючи нову концепцію житлової споруди, яка перестає бути оборонною фортецею і стає елегантною заміською резиденцією. Зберігаються тільки окремі характерні деталі готичного стилю, як, наприклад, гостроверхі аспідні даху, і деякі оборонні елементи, облагороджені духом Відродження. Своїм особливим рафінованим витонченістю цей будинок зобов'язане не тільки Метру Руссо, скульптору П'єру Мопуену і теслі Жаку Торо, але також дружині благородного сеньйора - Філіппе, яка особисто керувала роботами, що додало всьому ансамблю відбиток вишуканої витонченості. Бальзак, який в околицях Азей складав свій роман «Лілія в долині»...
