В начале 1853 года поселился я в Москве на Малой Лубянке в доме III-й гимназии в меблированных комнатах, которые содержал Француз Haldy, вместе с П. А. Безсоновым. Мы занимали две комнаты с небольшой прихожей; его была дальняя, моя проходная. Несносен он был очень, поздно возвращаясь и тем будя меня. Чай и сахар у нас был общий в шкатулке, от которой ключ был у меня. Однажды я куда-то ушел, а ему захотелось не в урочный час чаю; прихожу: шкатулка сломана и сломана моею же бритвою, которая от того испортилась.
Я должен был с ним расстаться и весной нашел себе комнату в игрушечном магазине против манежа в доме тогда Торлецкого, ныне князя Гагарина. Этот магазин держал старик Трухачев с двумя своими дочерьми. Моя комната о 2-х окнах выходила в сторону манежа, но магазин в 9 часов запирался и чтобы не выходить через грязный двор, я вылезал на площадку из окна. Мои посетители этим же путем являлись ко мне, к негодованию Трухачевых и полиции. И еще до отъезда к брату ездил я на Девичье поле к Михаилу Петровичу Погодину, который стал благоволить ко мне с самого времени моего студенчества. Он, узнав от Шевырева про мою работоспособность, однажды навестил меня в рабочей моей келье, просидел довольно долго и вслед за тем прислал ко мне целый воз своего "Москвитянина", который он издавал с 1841 года. В благодарность я составил указатель статей "Москвитянина" по истории Русской, этнографии и по истории Русской словесности. Указатель этот я напечатал во "Временнике" общества Истории и Древности, откуда дали мне несколько оттисков, один из коих повез я к Погодину и был встречен бранью и криками: "Как же Вы смели со мною поступить так? Глядите: напечатано "Указатель к Москвитянину", а не поставлено, кем он издавался?" Я благодушно отнесся к этому крику. Потом было у меня с ним еще столкновение: я поместил в "Москвитянине" какую-то статью мою о Жуковском, и он мне за нее вынес всего 6 рублей. Тогда я положил себе правилом не иметь с ним никаких денежных сношений, и мы до конца дней его (1875 г. декабря 8-го) оставались в наилучшей дружеской связи, простиравшейся и на наше семейство. Я от всей души полюбил его, и он ценил мое трудолюбие и любознательность, называя меня за мои расспросы "дразнилкою". "Когда льют колокол, говорил он, то бросают в растопленную медь кусочки дерева, необходимые для того, чтобы к ним собирался всякий сор и медь становилась чище; эти деревяшки называются дразнилками. Так и к вам прилипает всякая библиографическая мелочь". По возвращении моего от Шевичей Погодин советовал мне заняться биографией Жуковского 12 апреля 1852 года, прибавляя, что это будет угодно Государю. Чтобы собрать сведения о Жуковском, дал он мне кургузую записочку к Авдотье Петровне Елагиной, которая жила тогда близ Арбатской площади на Пречистенском бульваре во 2-м этаже довольно большого дома Шеншиной.