Когда Александр и Иван Алексеевич жили еще в Новоселье, бывший письмоводитель Петра Алексеевича, Константин Толочанов, вероятно, в надежде награды, сообщил Александру Алексеевичу, что в спальной покойного, в его бюро, лежат бумаги, в которых назначены вольные дворовым людям и разные награды, и предложил их достать из известного ему потаенного ящика. Так как дверь в спальную была запечатана, то ночью, с помощью Толочанова, Александром Алексеевичем вынуто было окно, бумаги из бюро выбраны и сожжены.
Это говорила вся прислуга Петра Алексеевича, многие из жителей Корчевы и близкие люди к Яковлевым.
Иван Алексеевич в этом не участвовал и даже не знал о совершавшемся.
Рассказывали, что ужас и отчаяние распространились между прислугой покойного, когда узнали, что никаких вольных и никаких наград, о которых они слыхали, не существует и они поступают в раздел. Вновь закрепленные, как они считали себя, стали служить молебны и давать обеты святым угодникам уже не об освобождении из крепостного состояния, а чтобы не достаться на часть Александра Алексеевича. С мужской прислугою он был жесток; молодых женщин и девушек запирал в свой гарем.
Александру Алексеевичу досталось семейство управляющего Соколова. Он оставил его при прежней должности, а двух дочерей его Машу и Наташу увез в Москву, несмотря на слезы девушек, горе и мольбы их родителей. В Москве он поместил их в верхнем этаже своего дома и никого к ним не допускал. Они нашли случай уведомить о себе родителей и просили о помощи; старики обратились с просьбой о заступничестве за дочерей к княгине М. А. Хованской и Е. А. Голохвастовой. Они приняли участие, уговаривали брата пощадить детей Григория Андреяновича в память брата и возвратить их отцу. Александр Алексеевич (как я слышала от княгини) прикинулся изумленным, уверял, что на него клевета, что он готов отпустить обеих девушек и отпустит, как только найдет к своим детям няньку, место которой они занимают. Хвалился, что они живут в довольстве и покое, а ему ни на что не надобны. Старшая дурна как смертный грех (она была попорчена оспой), меньшую же, Наташу, он мало и видел -- она от него все прячется.
Достигнувши своей цели, Машу он отправил к ее родителям. Она поступила в монастырь. Наташа, миловидная блондинка, томилась в гареме до кончины Александра Алексеевича. Он умер в начале 1825 года, перепугавшись и простудившись во время наводнения, случившегося 1824 года в Петербурге. Его едва не залило водой в карете.
От Наташи у него осталась дочь Лиза, которую она, освободившись, увезла к своим родителям.
Сверх нескольких побочных детей, от разных матерей, у Александра Алексеевича был совершеннолетний сын Алексей Александрович, умный, образованный, ученый, известный под названием "Химика", о котором Грибоедов сказал в своей комедии "Горе от ума":
Он химик, он ботаник,
Князь Федор наш племянник.
Незадолго до своей кончины Александр Алексеевич, с разрешения императора Александра Павловича, женился на матери Алексея Александровича Олимпиаде Максимовне, этим браком привенчал его со всеми правами законного наследника. Он это сделал не из любви к сыну или его матери, которых теснил и оскорблял постоянно, а из ненависти к братьям, чтобы после него не досталось им его имение. По получении наследства он не переставал с ними ссориться.