великий князь Вітовт побудував на цьому місці готичний п'ятибаштовий Верхній замок, пізніше названий Старим.
Подання про замок Вітовта і системі його укріплень дає відома гравюра Гродно 1568 До східної стіні замку між двома вежами - круглої і кутовий - примикав двоповерховий палац. Його архітектура, як і архітектура всього замку Вітовта, мала готичні риси. Про конструкціях стін можна судити тільки по залишках цегли та каменю-валуна. Цегла в кладці стін використовувався для вирівнювання рядів каменю, в баштах - як облицювальний матеріал.
Протягом майже п'яти століть замок не раз переробляли. На сьогоднішній день автентичність часів Вітовта зберегли лише деякі стіни першого поверху Старого замку.
В 1445 році великий князь литовський Казимир IV Ягеллончик прийняв тут польського посла, який пропонував йому корону, а в 1492 році помер у замку. Стефан Баторій дуже любив Гродно і досить часто зупинявся в Старому замку. По суті саме він зробив Гродно третьою столицею Речі Посполитої.
У 1576-1586 роках Верхній замок став резиденцією короля Стефана Баторія та був перебудований заново: від фортеці, побудованої Вітовтом, залишилися лише стіни і деякі вежі. Перебудовою твердині займався пармський архітектор Скотто, який привніс у замковий ансамбль дух ренесансу. Брутальний замок перетворився на багато декорований палац.
Внутрішнє оздоблення нижнього поверху була виконана з цегли: королівські кімнати другого поверху оброблені шліфованим гіпсом, прикрашені кахлями і різьбленням. Пол був викладений мармуром і керамічними плитками.
У 1579 році тут проходило засідання сенату, на якому обговорювали внесок Речі Посполитої в Ливонську війну. Сам же Баторій проводив у замку чимало часу. Востаннє король прибув в Гродно 6 вересня 1586. +7 Грудня він знепритомнів, а 12 грудня серце короля зупинилося. Баторій заповідав поховати його в Гродно, однак, порушивши волю короля, його поховали в Кракові, де покояться всі польські монархи.
У 1655 році під час російсько-польської війни замок дуже сильно постраждав, його і все місто фактично повністю зруйнували російські війська.
Друге народження замок разом з новою реконструкцією отримав в 70-их роках XVII століття. Канцлер Великого Князівства Літовсккого і гродненський староста Кшиштов Зигмунд Пац взяв на себе тягар фінансування будівництва. Вікна при реконструкції втратили своє обрамлення і були збільшені. Надбудова третього поверху, виконана в XIX ст., Остаточно змінила його вигляд.
З 1678 року в Старому замку почали проходити сейми Речі Посполитої. Гродно приймав кожен третій сейм.
Під час Північної війни 1700-1721 років замок був зруйнований шведами. Пожежа 1735 практично знищив те, що ще залишалося від замку. До наших днів дійшли палац, фрагменти оборонних стін, руїни Нижньої і Верхньої церков, княжих покоїв, міст і замчище.
Як раз в цей час почалося будівництво Нового замку на протилежному пагорбі. Його будівництво було завершено до середини XVIII століття.
У 1925 році в колишній королівській резиденції відкрився історико-археологічний музей, який і по сьогоднішній день знаходиться в стінах замку. Фонд музею містить близько 190 000 предметів.
Крім музейної експозиції на території Замкової гори можна оглянути руїни пам'ятника гродненської архітектурної школи XII століття - Нижньої церкви і руїни стін Верхнього замку.
У середині 12 століття почалося активне кам'яне будівництво, яке тривало до 1180-1190-их років. Різко змінилася і оборонна система. На зміну дерев'яним оборонним конструкціям прийшли кам'яні сцени з плінфи.
У середині 12 століття був побудований православний храм, який отримав назву Нижня церква. Згідно з літописом він був знищений під час пожежі в 1183 році. Храм був 6-столпний, 3-нефний, 3-апсідний, довгою 18.4 см, шириною 11.7. Фундамент храму був складний з дрібних каменів. Фасад і інтер'єр був прикрашений плоскими лопатками. Будівля зведена з плінфи - тонкої цегли. Пол представляв собою розкішний маёліковий килим. Він був складний з плиток різної форми у вигляді складного геометричного орнаменту. Фресок в ході розкопок не було зафіксовано. Для більшого акустичного ефекту в стіни було вмуровано глечики-голосники. Найбільш характерним елементом сцен храму були шліфовані валуни, які розташовувалися від самого фундаменту до верхнього краю сцени. У ході розчищення вівтарній частині храму були виявлені залишки дерев'яної вівтарної перегородки шматочки мідних пластин від її з різними орнаментальними візерунками і зображеннями святих.
У 1932-1933 роках під час розкопок Ю. Ядковскій відкрив руїни ще однієї споруди - князівського палацу...