Еще до восшествия на престол императора Павла Петр Алексеевич, желая доставить детям своим правильное общественное положение, объявил братьям, что намерен детей усыновить, со всеми наследственными правами {За отсутствием одного из братьев Петра Алексеевича, акт этот был подписан двумя находившимися налицо братьями. Когда третий возвратился, Петр Алексеевич находился уже в Кременчуге начальником провиантского депо: по сделанным на него двум доносам, он Десять лет оставался под судом и следствием, выезд из Кременчуга ему был воспрещен, и только в 1812 году, оправданный по одному из доносов, он получил разрешение ехать в свое имение. Обе дочери его были уже замужем, сын в тринадцатом году скоропостижно кончил жизнь.
По кончине Ивана Алексеевича, Александр Иванович Герцен, при мне разбирая его бюро, между прочими бумагами нашел этот вполовину подписанный акт, подал его мне и с огорчением выразился самым тяжелым образом о людях, столь близких ему. Вместе с этим актом он нашел еще бумаги и письма, глубоко тронувшие его. (Прим. Т. П. Пассек.)}. Для этого законные наследники должны были подписать акт, которым они признают за незаконнорожденными детьми как фамилию, так и все законные права их отца. Находившиеся налицо два брата акт подписали, третий, отсутствовавший, изъявил согласие письмом.
Дети Петра Алексеевича носили фамилию Яковлевых. Сын его, Николай Петрович, кончивши учение, уехал в Петербург, где поступил на службу в канцелярию государя императора, служил успешно и был принят в лучшем петербургском обществе. Меньшая дочь, Елизавета Петровна, до своего замужества с одиннадцати лет каждую зиму проводила в Москве в доме княгини Марьи Алексеевны Хованской, где вместе с двумя дочерьми княгини училась под руководством жившей у нее гувернантки француженки Анны Ивановны Матте. Мать мою, Наталью Петровну, обладавшую редкою красотою, отец намерен был ввести в высший петербургский круг, завершивши блестящим образом ее воспитание. Вследствие этого плана он просил Анну Никитишну Нарышкину, с которой был в дружеских отношениях, принять под свое покровительство его Наташу, когда ей исполнится пятнадцать лет. Анна Никитишна, говорили мне, дала слово исполнить его желание и доверенность оправдать.
Плану этому не суждено было осуществиться.