После смерти деда в доме на Рогожской улице все постепенно изменилось. Мало осталось ямщиков. Уже не было слышно вечером их песен, и конюшни опустели. Стояли покрытые пылью огромные дормезы; унылы и пусты были дворы ямщиков. Приказчика Ечкина не было видно в нашем доме. Отец мой был озабочен. Много приходило людей в дом. Помню, как отец платил им много денег, и какие-то белые бумажки длинные, векселя, он складывал вечером вместе, перевязывал бечевкой и клал их в сундук, запирая. Как-то уезжал он. В парадном ходе крыльца моя мать провожала его. Задумчиво смотрел отец на окно, покрытое инеем мороза. Отец в руках держал ключ и, задумавшись, прикладывал ключ к стеклу. Там образовалась форма ключа. Он переставил его в новое место и сказал матери:
— Я разорен… Дом этот продадут.
Уже прошла Николаевская железная дорога и окончена была до Троице-Сергия, а также построена была дорога и до Нижнего Новгорода. Так что ямщина была закончена. По этим дорогам уже редко кто ездил на лошадях: ямщина была не нужна… Значит, отец сказал: «Я разорен», потому что дело кончилось. Троицкую железную дорогу провели Мамонтов и Чижов, друзья моего деда. Вскоре я с матерью переехал к бабушке, Екатерине Ивановне Волковой. Мне очень нравилось у бабушки, а потом оттуда переехали мы на Долгоруковскую улицу, в особняк фабриканта Збука. Кажется, хорошо не помню, отец мой был мировой судья. Большой двор был у дома Збука и большой сад с заборами, а дальше шли полянки. Еще не отстроена была хорошо Москва, Сущево. Вдали были видны фабричные трубы, и помню я, как на праздниках на эти полянки выходили рабочие, сначала молодые, потом постарше, друг перед другом кричали: «выходи», «отдай наше» и дрались друг с другом. Это называлось «стенка». До самого вечера слышался крик: то были игры-драки. Я много раз видел эти драки.
Мебель в особняк Збука была перевезена из нашего рогожского дома, который уже был продан. Но и эта жизнь в Москве была недолгой.