В начале 1861 года стряслась над нами беда, ухудшившая финансовое положение отца: он неожиданно был уволен в отставку. Всегда плохое состояние средств Государственного казначейства, при больших расходах по военному ведомству, побудило уволить многих лиц, состоявших без должностей, в том числе и отца. Переход с получавшегося содержания на пенсию по чину генерал-лейтенанта (эмеритуры еще не давалось) был тяжел. Отец поехал в Петербург и представил имевшееся у него высочайшее повеление о сохранении ему содержания впредь до назначения на новую должность. Повеление это, по-видимому, не было известно Главному штабу, так как раньше военно-учебные заведения не подчинялись военному министру, и ему тотчас предложили принять первую вакантную дивизию. Отец, однако, отказался как потому, что считал себя отставшим от строя, так и потому, что еще надеялся на получение должности выборгского губернатора. Отец поэтому остался в отставке. Вскоре ему предложили место губернатора, но в городе Николайштадте, куда он не пожелал перебираться, тем более, что там не было бы никакого общества для матушки. Финансовое его положение было трудное, но государь помог назначением ему добавочной пенсии в тысячу рублей (впоследствии - четыре тысячи марок) из финских сумм.
