В 1879 г. А. Шахматов сдает экзамены в четвертую московскую гимназию, с которой вплоть до поступления в университет была связана его жизнь. Тогда же подруга тети познакомила его с английским языковедом профессором Ходжетцом, которому А. Шахматов показал свое сочинение о звуках и который в свой черед познакомил его с выдающимися лингвистами того времени -- В. Ф. Миллером, Ф. Ф. Фортунатовым, Ф. Е. Коршем, ставшими для него наставниками в ученой деятельности. Он продолжал заниматься языками и уже тогда критически оценивал труды классиков вроде М. Мюллера, рассуждал о египетском языке, искал корни слов. В этих юношеских "лингвистических играх" скрывалось значительно большее, чем простое собирательство: он "создал новую теорию о языке", по мнению Ходжетца, и все глубже погружался в манящий тайнами и открытиями филологический мир. Рассуждения 15-летнего А. Шахматова о себе самом и своих ощущениях говорят о зрелости мысли и ширине кругозора: "Язык может сделать меня поэтом и отчасти сделал это -- язык перенес меня в отвлеченный мир, язык познакомил меня с мыслями человека; филологии вовсе не свойственна сухость, филология -- это наша жизнь, жизнь древнего нашего предка Ария, жизнь и нас -- идеалистов XIX века".
Филология придала научным мечтаниям А. Шахматова определенность, позволила проникнуть в исторические судьбы народов и понять их духовный строй как живую, развивающуюся стихию. Он писал об этом так: "Что же открыла мне филология: мне теперь много и много ясно, много и много стало понятно; я проследил за древнейшею жизнью человека, и я часто переношусь в блаженные времена Адама, идеального ходжетцева человека, я переношусь мысленно за 6 тысяч лет до Р. X., и все становится так ясно, что ни история, ни религия не могли так ясно объяснить мне о сотворении мира и человека, а существование Адама и Евы неопровержимо, потому что я знаю, что они значат -- рождатель и рождательница, муж и жена".
После окончания в 1883 г. гимназии А. А. Шахматов поступил на историко-филологический факультет Императорского Московского университета. В первый же год обучения он пишет глубокий историко-лингвистический труд, опубликованный под заголовком "Исследование о языке новгородских грамот XIII и XIV века". Для своего времени это был новаторский подход: во-первых, он обратился к анализу не книжных, церковных текстов, а деловых, бытовых, которые в то время практически не изучались; во-вторых, молодой ученый в центре своего исследования ставит традицию языка и орфографии.
По окончании I курса А. А. Шахматов отправился в поездку по северу России для изучения местных говоров. Попутно он записал сказки, свадебные песни, причитания и былины, которые частично были изданы в сборнике "Северные сказки" Н. E. Ончукова (СПб., 1908). Записи А. А. Шахматова отличались точностью в передаче фонетических особенностей, что позволяет их рассматривать в качестве полноценного источника по изучению устного народного творчества не только как культурно-эстетической традиции, но и как явления живого народного языка, дышащего своей неповторимой интонацией.
На IV курсе университета А. А. Шахматов готовит кандидатское сочинение на тему "О долготе и ударении в общеславянском языке", которое было признано Ф. Е. Коршем и Ф. Ф. Фортунатовым "весьма удовлетворительным", и А. А. Шахматова утверждают в степени кандидата.
По окончании университета историко-филологический факультет постановил по представлению профессоров Ф. Е. Корша, Ф. Ф. Фортунатова, Р. Ф. Брандта и В. Ф. Миллера ходатайствовать об оставлении А. А. Шахматова при университете по кафедре русского языка и словесности.
В 1889 г. А. А. Шахматов успешно сдает магистерские экзамены, после которых ему разрешено представить диссертацию, которую ученый готовит не в университете, а в Губаревке, куда "в связи с душевными переживаниям, а также в связи с неудовлетворенностью преподаванием в университете и стремлением поработать в деревне" он уезжает в 1890 г. В июле 1891 г. его утверждают в должности земского начальника V участка по Саратовскому уезду.
Эти несколько лет, проведенные в родовом имении, открывают еще одну грань личности А. Шахматова. Хозяйственные дела, обустройство сельской жизни, налаживание эффективно работающего поместья, быта и образования крестьян -- практические задачи, которые требуют общественного темперамента и хорошего чувства реальности. Недаром земская деятельность привлекала талантливых людей из разных сфер жизни.
Тем не менее научные интересы брали свое. Захватившие его еще в детские годы фонетика и рассуждения о судьбе звуков в разных языках получили еще более глубокое осмысление в диссертации "Исследования в области русской фонетики", которую ученый начал активно готовить с 1892 г.