С самого детства Ваня стал водиться со сверстниками, сначала с пастушатами, а затем и с ребятишками из Выселок, которые находились в версте от Бутырок. Бывали они и у него в гостях, бывал и он в их избах. С некоторыми из ребят он очень дружил, а одного так полюбил, что требовал, чтобы он оставался у него ночевать, что порой возмущало их строгую, чинную няню. Со всеми он был на равной ноге и от более сильных ему иногда попадало "под микитки", но он никогда не жаловался дома.
Родители брали Ваню, а потом и сестер, в церковь в селе Рождество, куда ездили на тройке с кучером в цветной рубашке и плисовой поддёвке. Бог-Саваоф, написанный в куполе, вызывал в нём страх. Несмотря на утомление, он любил церковные службы, нравился ему и почет, которым они в храме пользовались. Священник присылал матери просфору, крестьяне давали им дорогу, когда они немного опаздывали к службе.
Стали брать детей, когда ездили к бабушке, матери Людмилы Александровны, в Озерки, которые находились в нескольких верстах от их хутора. На Ваню произвел впечатление въезд в усадьбу с двумя каменными столбами, поразил дом с необычайно высокой крышей и пленили цветные стекла в окнах гостиной и угловой комнаты. А старую ель перед домом они с сестрой называли "заветной".
Когда Ване было лет семь-восемь на Рождество приехал из Москвы Юлий, уже окончивший математический факультет и учившийся на юридическом, чтобы специализироваться по статистике. Понаехало и много гостей. Алексей Николаевич, хотя и был во хмелю, но находился в благостном настроении, был гостеприимен, пел под гитару, сыпал остротами и ни с кем не поссорился. Людмила Александровна чувствовала себя счастливой: все птенцы были с ней.
В жизни случается, что после счастливых дней наступает горе и с самой неожиданной стороны, так было и на этот раз. В конце Святок заболела младшая девочка, очень веселая, синеглазая, на крепких ножках, любимица всего дома.
Гости быстро разъехались, и наступили тяжелые дни, полные тревоги, подавленности и беспомощности. Что была за болезнь? Неизвестно. Всё произошло в несколько недель. Приезжал из Предтечева фельдшер, который ничего не понял. И в начале февраля девочки не стало.
Исчезновение из жизни любимой сестрёнки Саши поразило мальчика так, что он на всю жизнь был потрясен, и никогда уже не проходило у него жуткое изумление перед смертью. И дума о Саше жила долгие годы: где теперь она, ее душа? На какой звезде? Тяжкое впечатление оставило и то, что нянька накинула черную материю на зеркало в комнате, где он спал...
Вот как он сам записал об этом:
"В тот февральский вечер, когда умерла Саша, и я (мне было тогда лет 7-8) бежал по снежному двору в людскую сказать об этом, я на бегу все глядел в темное облачное небо, думая, что ее маленькая душа летит теперь туда. Во всем моем существе был какой-то остановившийся ужас, чувство внезапного совершившегося великого, непостижимого события".
Вскоре после смерти Саши кто-то из Ельца привез копеечные книжки "Жития святых", и мальчик набросился на это чтение, стал много молиться, держать посты, даже сплел из веревок нечто похожее на "власяницу" и носил ее под рубашкой. И все бегал к сапожнику, ездившему за товаром в город, давал ему медяки, прося покупать для него всё новые и новые книжки о святых.
Года за два до поступления в елецкую гимназию была привезена программа и учебники для вступительных экзаменов, и Николай Осипович засадил своего воспитанника за них, заставляя его без всяких объяснений зубрить, а сам ходил по комнате, что-то бормоча себе под нос.