У 1623 році ці землі були подаровані «по государеву грамоті» стольнику князю Микиті Черкаському. Тоді в селі Середніково знаходився лише один «двір поміщиків, в якому жили ділові люди». Протягом 150 років князі Егупова-Черкаські володіли цими землями. Онук першого власника, Іван Михайлович, побудував тут кам'яну церкву. У прибутковій книзі Патріаршого Казенного Наказу за № 7202, в 1694 році, є запис: «У минулому під 201 (1693) році травня в 18 день ... по челобітьем стольника князь Івана княж Михайлова сина Егупова-Черкаського велено йому в Московському повіті , в Горетово таборі, в маєтку ево в селі Середніково побудувати знову кам'яну церкву внизу Олексія Митрополита теплу, нагорі Нерукотворного образу Спасова холодну ... » Нова сторінка в історії садиби У 1775 році відкривається нова сторінка в історії маєтку, коли в центрі його, на місці скромного дерев'яного будинку багатий вельможа, дійсний статський радник і камергер Всеволод Олексійович Всеволожский починає будівництво садибного ансамблю, «понад усе цінуючи зручність та затишок» . Незабаром з'явився двоповерховий панський будинок, з'єднані з ним витонченими білокам'яними галереями чотири флігелі: для гостей і прислуги. Були побудовані оранжереї і обори. Широке, добре організоване господарство приносило садибі Средніково чималий дохід. Головними його джерелами були кінний і обори. Виїзні коні з Середніково поповнювали царські стайні. Скотний двір складався з дійних корів і овець цінних порід - кримських і решетилівських. У оранжерейному господарстві вирощувалися фрукти і овочі - груші, персики, дині і турецькі огірки, які з успіхом продавалися в Москві. Подолинським селянам здавалася в оренду млин. Тут же були побудовані дві фабрики: полотняна і залізної посуду під лаками з живописом. Метал для них поставлявся з Пермських заводів, що належали родині Всеволожский. У 1797 році, після смерті Всеволода Олексійовича, маєтком володіє його брат - генерал-поручик, дійсний камергер Сергій Олексійович Всеволожский. Продаж садиби У 1811 році садиба Середніково продається Сергій Олексійовичем Всеволожским ярославському дворянину, підполковнику Опанасу Олександровичу Нестерову, представнику найдавнішого роду зі Швеції та Литви, який дав Росії талановитих дипломатів, офіцерів і генералів. Афанасій Олександрович є племінником героя Чесменського битви російсько-турецької війни 1768-1774 років адмірала Григорія Андрійовича Спиридова, і генерала-ад'ютанта Петра Матвійовича Нестерова. Двоюрідний брат Афанасія Олександровича - генерал-лейтенант Петро Петрович Нестеров був комендантом Владикавказа під час служби на Кавказі Михайла Юрійовича Лермонтова. Петро Петрович Нестеров був засланий на Кавказ за участь в поєдинку. Між офіцерами склалися довірчі відносини, і Петро Петрович протегував поетові. За свої кошти він відкрив у Владикавказі бібліотеку, займався благоустроєм міста, в його честь центральна вулиця Дворянський бульвар була перейменована в бульвар Нестерова. У 1814 році Афанасій Олександрович Нестеров продає Середніково графу Григорію Олексійовичу Салтикову, якому маєток належав до 1825 року.
У 1825 р. садибу Середніково придбав генерал-майор Дмитро Олексійович Столипін, брат бабусі Михайла Юрійовича Лермонтова - Єлизавети Олексіївни Арсеньевой, і воно стає родовим гніздом Столипіним. Господар садиби - Дмитро Олексійович - генерал-майор, який відзначився під Аустерліцем, військовий теоретик. Був близький з Павлом Івановичем Пестелем і його «як пере...
