Матушка с сестрами и братом уехали, как я сказал выше, осенью 1802 года, в Пятую Гору. Брат Александр был в корпусе. Я жил один с отцом. В конце декабря, по возвращении от Державина, он сказал мне, что министр принял его очень ласково и обещал в скором времени дать ему место. Это говорил он за обедом, и когда встал, то почувствовал слабость в ногах. Они распухли до того, что на другой день он не мог обуться и вскоре слег в постель: у него открылась водяная. Его пользовал доктор Нордберг, брат Ивана Густавовича, но спасенья не было. Я бросился к бабушке, Христине Михайловне Фок. Она встретила меня высокопарными фразами, застонала, бросилась на колени. Муж ее, добрый Иван Егорович, принял участие в нашем бедственном положении и помогал нам.
Не могу без особенного уныния и ужаса вспомнить о том времени. Матушка не могла знать о болезни мужа. Говорили, может быть, о незначительном его нездоровье. Батюшка скончался 5 марта 1803 года. На нем были долги: сколько и кому он должен, я не знал и просил полицию взять все наличное движимое имущество. Оно было оценено в 41 руб. с копейками и продано с публичного торга. У нас были крепостные люди: одна женщина с взрослым сыном, другая — с девочками. Они были приобретены от Крейца, но акта на куплю их не было. Я объявил, что не знаю, где они, и это была правда. Они жили потом на воле, по паспортам от полиции.
Я поселился у бабушки. Муж ее Иван Егорович служил директором Воспитательного дома, по деревенской экспедиции, заведывавшей воспитанниками, размещаемыми по деревням, и жил в Воспитательном доме, на том дворе, где гауптвахта, в нижнем этаже. До сих пор не могу проходить мимо без содрогания. Бабушка меня ненавидела, и я принужден был слышать самые оскорбительные отзывы о моем отце. И я выражался о ней не слишком нежно. Оттого происходили столкновения и стычки. Между тем я сдерживался, боясь огорчить матушку.