2 сентября в десятом часу утра оставил Москву Александр Алексеевич и советовал брату не медлить. Проводивши брата, Иван Алексеевич приказал готовить экипажи и укладываться, между тем пошел поторопить Павла Ивановича. К удивлению его, Павел Иванович объявил, что передумал и находит безопаснее оставаться на месте, тем больше, что получил известие, которым сообщают ему, что на дороге, по которой им надобно ехать, показались казаки и беглые солдаты. Мало того что все убеждения остались напрасны, он советовал и Ивану Алексеевичу не оставлять Москвы, а перебраться в дом княжны Анны Борисовны, чтобы быть поближе к нему, так как двор ее прилегал к саду Голохвастовых {Все, что говорится в моих воспоминаниях о пребывании Ивана Алексеевича Яковлева и его семейства в Москве во время занятия ее неприятелем, слышала я в его семействе, для большей же точности записала со слов его сына Егора Ивановича Герцена, бывшего в то время уже по десятому году и присутствовавшего при всех упоминаемых мною событиях. (Прим. Т. П. Пассек.)}.
Возвратясь к себе, Иван Алексеевич приказал закладывать лошадей, а сам со своими сел обедать. Во время обеда он спросил воды, ему сказали, что дворник давно уехал за водой и неизвестно, почему его до сих пор нет. Спустя несколько минут камердинер Ивана Алексеевича доложил не своим голосом, что дворник возвратился без бочки и без лошадей, которых у него отняли французы. Все встали из-за стола, подойдя к окну, увидали французских драгунов в касках с конскими хвостами, идущих по бульвару и скачущих верхом на лошадях по улице. Иван Алексеевич приказал экипажам переехать во двор княжны Анны Борисовны и всем туда перебраться, а сам пошел разведать, что делается на улицах Москвы. Дом Голохвастовых они нашли разграбленным, а Павла Ивановича -- в саду; он сидел на скамейке, подле него сложены были его вещи. Они поместились с ним рядом, но не успели еще образумиться, как в сад ворвалось несколько польских уланов, которые ограбили их дочиста, даже пеленки с ребенка поснимали, отыскивая золото и бриллиантов. Один пьяный солдат потянул у Павла Ивановича из кармана часы. Павел Иванович не давал, говорил, что эти часы прислал ему на память из Лондона брат Лев Алексеевич и он дорожит ими. Улан, раздраженный сопротивлением, ударил его тесаком по лицу, рассек нос, часы отнял да тут же в саду лег и заснул. Подоспевший французский офицер остановил дальнейший грабеж.
Уланы ушли из сада, -- все успокоились немного, кормилица завернула ребенка в бывший на ней овчинный тулуп и подпоясалась полотенцем, чтобы он не выпал. Когда Иван Алексеевич возвратился, они поместились в доме княжны Анны Борисовны; спустя немного времени во двор вошел французский солдат и стал отнимать у кучера одну из лошадей, сын управляющего княгини, Платон, заспорил с ним и не давал лошади; Иван Алексеевич растворил окно и крикнул на Платона, чтобы он не спорил; Платон не уступал, француз замахнулся на него саблей -- прислуга Яковлевых была вооружена. Ко всеобщему ужасу ссора кончилась трагически: Платон убил француза; тело бросили в колодезь и забросали камнями.