Вторая зима в Пензе прошла оживленнее первой. Балы следовали один за другим. Обуховы, Бекетовы, Чарыковы, Кожины, Загоскины, старушка Вигель -- составляли небольшой кружок, в котором родители мои бывали с удовольствием, но, вообще, Пенза не нравилась папе, в особенности, он не сочувствовал так называемой Араповской партии.
Андрей Арапов во главе ее и гр. Толстой, губернатор, делали пребывание папы в Пензе довольно несносным, и папа стал хлопотать о переводе. Ему немедленно предложили перевод в Воронеж.
В мае 1862 г. родители наши покинули Пензу и переехали в Воронеж. Характерно, что еще и в то время, когда служба доставляла ему большое удовлетворение, в письмах к родным папа продолжал мечтать "более, чем когда-либо, о деревне, о сельском труде, о жизни деревенской, свободной, самостоятельной, благотворной, которая чувствую, мне никогда не дастся".
В Воронеже также у родителей моих создался очень узкий круг друзей -- С. Д. Безобразов {Корпусный командир.}, старик Ф. Ф. Вигель, Станкевич, Депрерадович, кн. Гагарин. Справедливые протесты отца в суде вооружили против него чиновничество; усилия его остановить массу крестьян, переселявшихся из Воронежской губ. в Сибирь под предлогом разверстания угодий, восстановили против него всех землевладельцев, и, наконец, воронежская аристократия с губернатором Чертковым во главе в особенности невзлюбили его.
В октябре 1862 г. была обнародована столь нетерпеливо ожидаемая судебная реформа. Замятин звал папу в Петербург, в Редакционную Комиссию, но папа отказался во избежание новых переездов и почти два года прослужил в Воронеже. Столкновения с администрацией и чиновничеством не прекращались. В числе целого ряда крупных эпизодов упомяну о буре негодования, поднятой его распоряжением снять кандалы с партии политических преступников, польских студентов, которых гнали из Киева в Сибирь. Вопреки возмущению начальства, папа, негодуя на такую жестокость, написал министру горячо, убедительно, и следующая партия шла уже без кандалов. Вообще, папа был очень смел в своих отношениях к людям и в делах, хотя в душе это подчас давалось ему нелегко. "По характеру своему я склонен быть всем приятным, но, когда я убежден в справедливости и необходимости какого-либо поступка, я твердо, и не останавливаясь никакими препятствиями, довожу его до конца, хотя я сам иногда только силой воли пересиливаю страх и смущение, охватывающие меня" {Семейная переписка.}.
Не встречая и в Воронеже сочувствия и симпатии, папа стал вновь хлопотать о переводе и был назначен в Харьков. Теперь из Воронежа он уезжал с семьей: у него была дочка, окрещенная в честь бабушки по матери именем Евгении.