Єсеніна своєю присутністю, то про те, яким було його життя була поза цих зустрічей, можна судити лише за матеріалами кримінальної хроніки.
У період з вересня 1923 по квітень 1924 року на Єсеніна п'ять разів заводили кримінальні справи за дебош і хуліганство. Одне із затримань спричинило судовий розгляд, на яке Єсенін не з'явився. Надалі він, знаючи. Що йому загрожує суд, уникав його, зникаючи, не вказавши адреси.
Щоб уникнути подальшої провокації і зважаючи нестабільного стану, Єсенін ліг для лікування в профілакторій імені Шумської до початку лютого 1924 року. Другу половину лютого і першого половину березня поет перебував у Шереметьєвській (нині інститут Скліфосовського), а потім у Кремлівської лікарні з метою уникнути судового переслідування.
У березні Єсенін поїхав до Ленінграда, щоб отримати коректора підготовлювану книги «Москва кабацкая» і укласти договір з видавництво «Пугачова». 14 квітня 1924 в концертному залі Лассаля друзі влаштували йому авторський вечір, що пройшов з приголомшуючим успіхом. Єсеніна буквально несли на руках до готелю. На якийсь час стан поета покращився, проте 15 травня помер його близький друг А. В. Шіряевец, що дуже вразило його. Могила одного на Ваганьковському кладовищі стала місцем паломництва Єсеніна. Після похорону він написав вірш «Пам'яті Шіряевца»: «Ми тепер відходимо потроху ...»
Обстановка цькування з усіма її атрибутами - звинуваченнями у ворожій налаштованості до радянської влади, офіційними кляузами і доносами, склалася в цей час і навколо імажинізму. Що керувало Єсеніним, коли він 31 серпня 1924 «Листом до редакції» «Правди» оголосив про розпуск імажинізму, сказати важко. У відповідь на заяву Єсеніна в четвертому номері журналу «Готель для подорожуючих у прекрасному» були опубліковані «Сучасні роздуми» Мариенгофа і Шершеневича. «Лист до редакції», опубліковане за підписами Мариенгофа, Ройзмана, Шершеневича та Ердмана, містило грубі і образливі випади на адресу Єсеніна.
Намагаючись уникнути подальших нападок, Єсенін на початку вересня їде на Кавказ, де проводить кілька місяців, частково реалізуючи мрію побувати в Персії. У жовтні з'являються перші вірші «перських мотивів»: «Лягла моя колишня рана ...» і «Я запитав сьогодні в міняйли ...», а потім і решта вірші циклу.
В Москву Єсенін повернувся 1 березня 1925. А 10 березня відбулася зустріч з Софією Андріївною Толстой, онукою Л. Н. Толстого, яка завідувала бібліотекою Союзу письменників. Їхній шлюб був офіційно зареєстрований восени 1925 року - ще одна нездійснена надія Єсеніна створити сім'ю. Незабаром вони розійшлися, проте Софія Андріївна багато зробила для посмертної пам'яті поета, відкидаючи різні плітки про нього, в тому числі і те, що поет сідав за перо, нібито, в п'яному чаді. Неодноразово колишня свідком його роботи над віршем, він стверджувала, що Єсенін ставився до своєї творчості дуже серйозно і ніколи не сідав за стіл п'яним. За сприяння С. А. Толстой був підписаний договір з Госиздатом на виданні «Зібрання творів» у трьох томах.
Восени 1925 Єсенін закінчив поему «Чорна людина» - страшної у своїй гіркоти, розпачі, неприйнятті власної долі і країни, в якій він жив. Ця поема - відображення стану останніх місяців життя поетів. Обстежив Єсеніна професор Ганнушкіна, світило тодішньої психіатрії, стверджував, що «ще один запій, і він зійд...