С переездом Марии Васильевны в Покровское все наши родные, а также и все знакомые дворянские семейства перестали бывать у нас в доме. Тем фактом, что отец открыто поселил у себя в семье свою любовницу, было оскорблено всё общественное мнение и в особенности негодовало дворянство, оскорблённое тем, что их предводитель, нарушая семейные начала, игнорирует все правила приличия. Отец, конечно, об этом знал, но в наших интересах не считал возможным вступить в брак с Марией Васильевной, пока мы ещё не вышли из детских лет. Он сам в юности имел мачеху и сохранил об этом обстоятельстве самые неприятные воспоминания. По отношению к общественному мнению он поэтому держался вызывающе, не позволяя никому мешаться в свои семейные дела. Из-за этого у него вышел однажды в курском дворянском собрании крупный скандал, окончившийся большими неприятностями для обеих заинтересованных сторон.
Во время дворянских выборов в великолепном зале курского Дворянского собрания отец вопреки всем обычаям и приличиям привёл и усадил на хорах Марию Васильевну на местах, предназначенных для дам дворянства. Эти последние, неожиданно увидев рядом с собой «содержанку» щигровского предводителя, возмущённо покинули хоры, и бедная Мария Васильевна, красная, как помидор, осталась в позорном одиночестве. Подобная вещь была, несомненно, вызовом всему дворянству и издевательством над всеми традициями своего круга, но к этому времени уже характер отца стал вообще неудобен в общежитии.
С годами, живя в своей усадьбе и уезде в качестве всесильного предводителя и состоятельного помещика, независимого от каких бы то ни было местных властей, отец постепенно стал терять чувство меры и перестал ограничивать свои взгляды и желания, считаясь в своих поступках только с самим собой. Годами видя кругом беспрекословное подчинение и страх перед ним, он дал волю своему и без того резкому и властному характеру, и скоро нрав его стал очень тяжёлым для семьи и окружающих. Перед революцией характер отца стал обнаруживать черты его предков, для которых не было другого закона, кроме собственной фантазии.
Уже не говоря об окрестном населении, с которым он обращался как с собственными крепостными, отец подчас был невозможен и с себе равными. Помню, что тётка Софья Вячеславовна Бобровская рассказывала мне однажды, что губернатор жаловался ей на невозможно вызывающий тон отца всякий раз, когда ему приходилось с ним разговаривать. Уж если с начальником губернии говорилось в таком тоне, то что же было с остальными смертными?!
По переезде в Покровское отец окончательно разделался с заводом в Туле, причём продал за бесценок, чтобы как-нибудь развязаться с ним. Покупателями оказались бывший управляющий заводом Куликов и бухгалтер Усов, которые в своё время сумели воспользоваться неурядицами в семье хозяина и, что называется, не «зевали на брасах», составив собственный капитал.
Широкая жизнь, которую отец вёл на три дома, отразилась на его материальном положении, и, переехав в деревню, папа вместе с Марией Васильевной усиленно занялся хозяйством для поправления пошатнувшихся обстоятельств. Надо отдать им справедливость, оба работали на совесть, вставая и ложась с петухами и проводя весь день в поле и на скотных дворах. Результаты сказались через несколько лет, и перед войной дела отца приняли цветущее состояние. В то время, как по всей России поместное дворянство поголовно разорялось и обезземеленное, оторвавшись от земли, переходило на положение чиновников, отец, благодаря своей энергии, упорной работе и помощи Марии Васильевны, богател, прикупал землю и перед революцией обладал состоянием больше миллиона рублей.