Дуже важливу роль зіграла Ямгородская фортеця під час війни Новгорода з Ливонським орденом і Швецією в 1443-1448 роках. Під час облоги 1443 ворогам вдалося спалити міський посад. Рік потому фортеця зазнала п'ятиденному облозі. Збереглося літописна опис, перше у вітчизняній історії, про гарматної дуелі між нападниками лівонцями і захисниками фортеці.
У 1447 році війська Лівонського ордена знову обложили фортецю Ям. В історії Ямгородской фортеці це було найбільше бій. За ливонським джерелами, воно тривало 13 днів. За цей час німці не раз кидалися на штурм, обстрілюючи фортеця з великих гармат, яким розпоряджався запрошений з Пруссії досвідчений артилерист. Вогонь ворожої артилерії був настільки сильним, що одна німецька гармата розірвалася при пострілі. Однак і цього разу фортеця не стала здобиччю ворога. Чекаючи військо, що вийшло з Новгорода з п'ятьма великими гарматами і великою кількістю дрібних вогнепальних знарядь, ямгородци стійко відбивали всі нападу противника. У підсумку, втративши під стінами фортеці величезна кількість вояків, що залишилися в живих загарбники «од-идоша в свою землю».
Оскільки під час воєн фортеця дуже сильно постраждала, особливо через гарматного обстрілу, її стіни і вежі вимагали ремонту. Крім того, Ямгородская фортеця застаріла і у військовому, і в технічному відношенні. Тому, коли між Новгородом і Лівонським орденом у 1448 році був укладений мирний договір, новгородський архієпископ Євфимій II розпорядився розібрати стару фортецю XIV століття, а на її місці поставити нову, теж кам'яну, але великих розмірів.
Нова фортеця, зведена у другій половині XV століття, стояла на високому стрімкому березі річки Луги. Вона мала форму трапеції, східна стіна при цьому була злегка ввігнута, повторюючи вигин річки. Зовнішній периметр стін досягав 720 метрів, а площа, займана фортецею, становила 2,5 гектара. Фортеця Ямгорода була першою на Північно-Заході Русі, що мала правильну геометричну планування, яку доповнювали симетрично розставлені по кутах і на серединах трьох стін вежі. Увігнута берегова стіна не мала вежі. Зате проведені в XX столітті дослідження виявили, що в північно-західному куті фортеці (на березі Луги) знаходилося внутрішнє зміцнення -детінец.
Всі кутові башти, а також вежа північної стіни і кутова вежа дитинця мали круглу форму і були далеко винесені за лінію стін фортеці. Решта три вежі мали чотирикутну форму. Кутові і північно-східні вежі дитинця відрізнялися великою міццю. Їх діаметр сягав 13,5-14,5 метра, і вони мали по 3-4 яруси. Зі східного боку до фортеці примикав ставок, який виконував роль рову.
Важливою відмінною рисою Ямгородской фортеці було наявність у ній внутрішнього укріплення, четирехбашенно-го дитинця - Вишгород. Як вже говорилося, розташовувався він в південно-західній частині фортеці. Оригінальна ворітної пристрій вело одночасно і у фортецю і в дитинець. Воно складалося з двох суміжних веж квадратної форми, усередині яких йшов загальний прохід завдовжки 17,5 метра і шириною до 3,5 метра. Поділяли прохід троє воріт, перед якими знаходилася «вовча яма» - чотирикутна, відкрита зверху, глибиною до 4 метрів, пастка. Таким чином, той, хто намагався проникнути в дитинець, мав подолати міст через рів, потім підйомний міст над «вовчої ямою» і далі коридор з трьома послідовними воротами і, можливо, з підйомною гратами. А це для нападників було справою зовсім не легкою.
По всій імовірності, дитинець був побудований як самостійне зміцнення і міг відбивати напад ворога навіть з тому випадку, якщо б йому вдалося захопити основну фортецю. Потужні вежі, товщина стін яких сягала 4 метрів, мали численні бійниці, влаштовані таким чином, що з них можна було вести вогонь уздовж прясел.
Приєднання до Московського князівства земель Великого Новгорода призвело до деякого занепаду самого Новгорода, але і передмістя під прикриттям Москви, навпаки, перший час почали швидко розростатися і процвітати. До початку XVI століття навколо Яма вже виріс значне місто, до якого примикали слободи і села. Ям став центром всієї торгівлі по річці Лузі.
Тимчасове ослаблення Росії в ході Лівонської війни дозволило шведам захопити кілька російських фортець на Північно-Заході. 28 вересня 1581 вони узяли фортецю Ям. Через кілька років, в 1590 році, після триденної облоги російські відвоювали фортецю.
Але в 1612 році Ям було знов захоплене шведами і по Столбовскому договору відійшов Швеції. Оборонну міць дитинця підкреслює те, що коли в 1658 році російські війська після штурму увірвалися в саму фортецю Ям, шведи, які володіли в той час фортецею, замкнулися у внутрішньому Вишгороді і зуміли відбити всі атаки наступаючих російських військ. У результаті наступали самі пішли з вже частково взятої фортеці.
