Довольно значительное имение князя Григория Ивановича делилось между его потомками, и на долю внука его, а моего деда, досталось около тысячи душ крестьян в Московской, Воронежской, Орловской и Пензенской губерниях, из коих выделена моей матери, при ее замужестве, законная часть, 14-я доля, 70 душ в Саранском уезде Пензенской губернии. У нее было три брата: Александр{}, Николай{} и Дмитрий{} и четыре сестры: Татьяна{}, Надежда{}, Прасковья{} и Настасья{}. Последняя умерла в начале 20-х годов, вскоре по выходе из Московского Екатерининского института{}, а князь Николай, служивший в конной артиллерии, умер во время Турецкой войны 1828--1829 годов. Весьма ограниченное состояние моих родителей побудило их вскоре после свадьбы ехать в Петербург для приискания отцу моему места в государственной службе. Граф Аракчеев{}, к которому обратился мой отец с означенной просьбой, отказал ему, основывая свой отказ на том, что отец мой, как человек молодой и молодцеватый, был бы полезен для службы, но что полученная им рана не только не дает права на получение места, но служит к этому препятствием, хотя рана вовсе не была такого свойства, чтобы отец не мог исполнять всякого рода службу, кроме фронтовой.
В это время учредилось Главное управление путей сообщения, и первым главным директором был назначен принц Георгий Ольденбургский{}, муж В. К. Екатерины Павловны{}. Он принял отца моего к себе на службу и впоследствии назначил смотрителем судоходства в Моршанске. В этой должности мой отец оставался недолго, вышел в отставку надворным советником и умер в начале 1815 г. в имении тетки моей Прасковьи Андреевны, состоявшей тогда под опекою старшего своего брата Александра, -- с. Шарапове Подольского уезда, Московской губернии, а похоронен в Москве на старом лютеранском кладбище. Матери моей было тогда 26 лет от роду. Она осталась вдовою с четырьмя малолетними детьми: Александром{} 5-ти лет, Александрою{} 3-х лет, мной 2-х лет и Николаем{} 5-ти месяцев, почти без всякого состояния, так как в продолжение последних лет родители мои должны были войти в некоторые долги. Брата моего Николая по смерти отца, в воспоминание о нем, прозвали Иваном, и он слыл все время детства Ванечкою, так что многие и не знали его настоящего имени. По производстве его в офицеры он всем, кроме матери, выказывал неудовольствие, когда его назовут не Николаем, а Иваном, так что с этого времени почти все начали называть его Николаем. По истечении некоторого времени имя Ивана было совсем забыто.
При твердости характера и значительном уме мать моя поняла, что не может продолжать жить в свете, а должна посвятить всю свою жизнь воспитанию детей и устроиться так, чтобы проживать сколь возможно менее. Вследствие этого она решилась нанять небольшую келью в Московском Никитском монастыре и не снимать траура. Она слишком любила моего отца и, будучи еще молода и очень хороша собою, конечно, принятым ею решением избегла предложений о вторичном замужестве, которого для нее, конечно, желали родные и близкие.
Я ничего не помню о жизни нашей в Никитском монастыре. Помню только, что в бытность Императорской Фамилии в Москве мать со всеми четырьмя детьми подала на дворцовом крыльце Императору Александру I прошение о помещении старшего моего брата Александра в Царскосельский лицей, откуда только что вышел двоюродный брат мой. При подаче прошения мы все стояли на коленях и были обласканы Императором. Однако же брата в Лицей не определили, а назначили кандидатом в Костромской кадетский корпус.