Вскоре после раздела имений Иван Алексеевич купил дом в Москве, в Старой Конюшенной, в приходе Власия, а сенатор купил себе дом на Арбате, куда и переселился с грудной дочерью Софьей и малолетним сыном, красивым, белокурым ребенком Сережей, которого все называли Лелеем, как он сам себя прозвал {Ныне знаменитый фотограф С. Л. Левицкий. (Прим. Т. П. Пассек.)}. С сенатором удалились Карл Иванович Кало, вся прислуга сенатора и все, что разливало жизнь в доме Ивана Алексеевича. Дом его принял характер угрюмый; повсюду распространилась тишина, подавленность, страх.
Новый дом Ивана Алексеевича был каменный, двухэтажный, он стоял глубоко в пространном дворе и наружностью походил на фабрику или, скорее, на тюрьму. Окна вдавались глубоко в его толстые стены; в нижнем этаже были с железными решетками. С обеих сторон дома раскидывались палисадники. В верхнем этаже длинная зала, выходившая окнами на две противоположные стороны, разделялась поперек широкими ширмами. Узкая отгороженная часть образовала род коридора, с дверью в переднюю. В широкой, подле ширм, стоял диван, перед ним круглый раздвижной стол красного дерева; на нем обедали, пили чай, вокруг него собирались вечером посетители. Из залы одна дверь вела в небольшой кабинет Саши; там он спал на широком турецком диване, а днем, сидя на нем перед открытым ломберным столом, брал уроки, читал, занимался. Карельской березы шкаф с книгами, три плетеные стула, парусинные шторы на окне составляли все убранство комнаты, в которой прошли последние годы отрочества и первые годы юности Саши. Под окном его комнаты рос тополь, такой высокий, что ветвями затенял часть окна. Рядом с кабинетом Саши, в крошечной комнатке помещались его электрическая и пневматическая машины, глобусы небесный и земной, на стенах висели ландкарты, у окна стоял желтый столик, весь изрезанный и исчерченный перочинным ножичком; за этим столиком Саша иногда учился с избранными учителями, когда желал уйти с глаз Ивана Алексеевича. Другая дверь из залы вела в две гостиные и чайную. Нижний этаж состоял из нескольких комнат со сводами. Там устроилась Луиза Ивановна, Егор Иванович и женская прислуга. Наверху Иван Алексеевич из большой гостиной сделал себе спальную. Простая деревянная некрашеная кровать его, покрытая белым байковым одеялом, стояла у средней стены между двух печей. Перед ней ночной столик, на котором всегда лежали какие-нибудь мемуары или лечебники и стоял стакан и графин с водою. По обоим концам комнаты на небольших письменных столиках лежали книги, бумаги, деревенские отчеты, стояло по бронзовому низенькому подсвечнику с зелеными шелковыми зонтиками в виде опахала и перед столами по креслу. Иван Алексеевич попеременно то за тем, то за другим столом занимался делами или читал. Большею же частью он читал, лежа на постели. Мебель, вещи, бумаги никогда не меняли мест своих. Книги с заметками имели определенные места.