Россия была в волнении. Наполеон с соединенными силами приближался к Москве. Многие из жителей Москвы, в том числе княгиня с семейством и княжной Анной Борисовной, стали из нее выбираться. Егориньку, еще не оправившегося после сделанной ему операции, княгиня оставила с отцом в Москве и при нем его няню, пожилую девушку Наталью Константиновну, которую за ее оригинальность все звали "Костенькой", княгиня же, по тогдашнему обычаю господ называть прислугу полуименем, звала ее просто "Костькой".
С этого времени Егор Иванович остался при отце своем совсем. И сколько горя пришлось ему вынести!
Елизавета Алексеевна Голохвастова также выехала из Москвы с двумя сыновьями, Дмитрием и Николаем Павловичами, и дочерью Натальей Павловной. Муж ее Павел Иванович остался в Москве, чтобы ехать с Иваном Алексеевичем. Родные советовали им не медлить. Иван Алексеевич, предвидя опасность, уговаривал Павла Ивановича поторопиться сборами; но тот, толкуя да перетолковывая, сбираясь да откладывая, наконец совсем раздумал оставлять столицу. Видя это, Иван Алексеевич решился 1 сентября выехать без него. Как только он объявил свое намерение Павлу Ивановичу, тот и раздумал оставаться, только попросил обождать его до следующего дня, чтобы ему совсем уложиться.