Автор записок, Андрей Тимофеевич, родился в дворениновском доме в 1738 году 7 октября. Рождение его произошло при обычной в старину обстановке; бабушкой-повитухой служила самая старая и доверенная женщина дворни. Глубокой ночью старуха дежурила одна при своей боярыне; прочая прислуга держалась подальше, сидела в людской и спала или представлялась, по старому обычаю, что не знает о совершающемся событии. Набожная женщина в ожидании разрешения начала молиться, истово и усердно кладя земные поклоны. Тут-то, было, и случилась беда: нательный крест бабки спустился до полу, да и завяз в щели половиц; повитуха оказалась крепким гайтаном туго привязанной к полу, когда родильница позвала ее на помощь. Обе подняли крик и насилу дозвались одну из запрятавшихся женщин, и освобожденная старуха едва поспела к своему делу. Первые годы жизни, проведенные на женских руках матери и мамки, той же старухи повитухи, были для единственного сынка временем ласк и баловства. В 1741 году Болотов получил полк и вызвал жену с детьми к себе в селение Наровск, близ Нарвы. С тех пор начались продолжительные странствия полковничьей семьи. Ребенок подрастал между впечатлениями стоянок в Остзейском крае, среди нерусской обстановки, и родной деревней. Тут же где-то в Эстляндии отец, на правах командира и приятеля всего генералитета записал пятилетнего сына рядовым в свой полк, и будущий литератор, к соблазну других отцов офицеров, ездил в салазках на козле получать от комиссара жалованье по нескольку копеек деньгами.
Во Пскове на шестом году мальчик начал учиться грамоте. В тот век контрастов одни родители начинали учить детей слишком рано, другие приступали к этому весьма поздно; наряду с Митрофанушками, отправлявшимися под венец прямо из-под надзора своих мамок, встречались четырех-пятилетние усердные грамотеи; так, мать Державина выучила сына читать на пятом году и тотчас отдала его учиться писать; молодые Воронцовы с пяти лет увлекались книгами. Знакомство с остзейскими немцами не могло дать полковнику никаких готовых образцов по части воспитания, и обучение сына началось обычным русским порядком. Во Пскове какой-то старик малороссиянин занимался обучением детей, приходивших к нему на дом; к нему отправили и нашего героя. Была ли это школа, или просто случайный учитель собирал вокруг себя учеников, мемуарист не помнит. Весьма может быть, что это были остатки цифирной школы того типа, какие основаны при Петре во многих городах; эти школы недолго просуществовали в своем первоначальном виде; иные закрылись, другие существовали кое-как, в той форме, какую им придавал учитель. Обучение грамоте шло здесь, конечно, по часослову и псалтирю. Болотов плохо помнит свои занятия с этим учителем, но говорит, что его способностями и успехами были довольны. Но мудрена была наука того времени с бесконечными складами, тяжелыми упражнениями по книгам, недоступным детскому пониманию. Проучившись более года, Андрей при всем своем старании плохо разбирал часослов и, далеко не освоившись с механизмом чтения, уехал с матерью в деревню, когда отец, покончив ревизию, отправился в полк.
Тут единственным грамотеем был его дядька, один из многочисленных представителей старинного типа способных и дельных боярских людей, крепостной интеллигенции раннего времени. Такие люди вырабатывались сами собой при общем складе жизни того времени. Помещик проводил время на службе; жена его бывала безграмотна или малограмотна; между тем по хозяйству, по куплям и продажам нужно было иметь грамотного человека; кроме того, всегда находились дела по приказам и воеводским канцеляриям; часто случались тяжбы; еще в XVII веке среди служилого и землевладельческого класса появилась страсть к тяжбам, к приобретению юридическими уловками и тонкостями того, что плохо закреплено за владельцем. Приходилось поручать такие дела своим людям и снабжать их полными доверенностями; для этого выбирали людей сообразительных и способных, твердых в грамоте, которой их, вероятно, и обучали с особой заботливостью; вообще эти люди ни в чем не должны были уступать дьякам и приказным; это были свои домашние юристы и адвокаты. Крепостному человеку такие занятия бывали и лестны, и выгодны; узкие рамки холопского бытия его расширялись; у богатого барина он становился чиновником; у среднего приходилось исполнять и должности слуги, но положение его все-таки было почетное, и все способности его как человека развивались и шли в дело. Но много тяжелого, трагичного встречалось в доле и этих ранних крепостных грамотеев.
Болотовский дядька Артамон был по-своему начитан, весьма силен в Священном писании и в Священной истории, знал кое-что о прошлом России, хорошо знал историю святынь и памятников Москвы, где долго живал по господским делам. Господам он служил поверенным по делам, перебывал во всех приказах и канцеляриях столичных и провинциальных и отлично знал всякое делопроизводство; дома он был гофмейстер, гувернер барчука, дворецкий и секретарь барыни. Как гувернер Артамон добросовестно посвящал воспитанника во все знания, какими обладал самоучкой; в описываемое время он доучил его русской грамоте, покончил часослов и прошел псалтирь. Стараниями ли учителя, преданного всей душой дому, или собственной охотой, только мальчик стал у него читать хорошо и с толком.
Письму Андрей Тимофеевич начал учиться немного позже, когда они с матерью снова приехали к отцу в Эстляндию; отец назначил в преподаватели своего лучшего полкового писаря. Последний принес немалую пользу будущему литератору, сумев быстро приохотить его не только к письму, но и к рисованью, в котором немного мараковал. Среди сельского и полкового досуга рисованье доставило нашему герою, как и его знаменитому современнику Державину, много приятных минут.