На наших передовых войсках Ивана Алексеевича приняли как лицо подозрительное. Спустя минуту их окружили казаки и повели в главную квартиру арьергарда. Тут начальствовали полковник Иловайский 4-й и Винценгероде. Они ночевали у Иловайского. На другой день Иловайский приказал казакам проводить Ивана Алексеевича до деревни Давыдкова, где находился Винценгероде, который тотчас же отправил его на фельдъегерских в Петербург в сопровождении офицера. Прощаясь с Иловайским, Иван Алексеевич просил его о своем семействе. "Оставаться им здесь невозможно, -- говорил Иловайский, -- кроме того, что мы не вне ружейных выстрелов, можно ждать со дня на день серьезного дела", но дал слово, что поможет им доехать в Тверскую губернию, в имение Петра Алексеевича -- Новоселье. На слова Ивана Алексеевича, что они без денег, Иловайский сказал: "Будьте покойны; даю вам слово сделать все, что возможно, чтобы доставить их покойно до назначенного места".
По прибытии Ивана Алексеевича к Петербургской заставе предъявлено было приказание везти его прямо к графу Аракчееву и в его доме задержать. Граф принял Ивана Алексеевича очень ласково и сказал, что император приказал ему взять от него письмо Наполеона, в приеме которого дал ему расписку. Он пробыл в Петербурге около месяца под арестом в доме Аракчеева. К нему никого не допускали. Один Шишков приезжал по приказанию государя расспросить о подробностях пожара, вступлении неприятеля и его свидании с Наполеоном. Он был первый из очевидцев, явившийся в Петербург. Наконец Аракчеев объявил Ивану Алексеевичу, что государь велел его освободить, не ставя ему в вину, что он взял пропуск от неприятельского начальства, что извиняется крайней необходимостию, в которой он находился. Ему велено было ехать немедленно, позволили только видеться и проститься с братом Александром Алексеевичем. Въезд в Петербург ему был запрещен и на будущее время.
За этим событием в жизни Ивана Алексеевича следовали годы глубокого покоя в Москве и расстройства здоровья от поездки в осеннее время на фельдъегерских.
Иловайский сдержал слово. По отъезде Ивана Алексеевича в Петербург он отправил его семейство до ближайшего городка с партией пленных, под прикрытием казаков, в тех самых экипажах, которые даны им были для выезда из Москвы, снабдил их деньгами и вообще сделал все, что было возможно в суете и тревоге военного времени.