После смерти графа Строганова Оленин был назначен президентом Академии художеств и директором Императорской публичной библиотеки. Она помещена была в прекрасном закругленном здании, построенном при Екатерине на углу Невского проспекта и Садовой улицы, и на две трети составлена была из завоеванной в Варшаве библиотеки графа Залуцкого. С приобретенными прежде и вновь приобретаемыми творениями число книг было довольно значительно, но все они, неразобранные, лежали грудами. Заботливый Оленин составил новое положение и новый штат для заведения сего, и они были утверждены в начале 1812 года; после того книги кое-как приведены в некоторый порядок. Тут нужны были ученые, а новые места, разделенные на библиотекарей и их помощников, Оленин роздал поэтам и приближенным своим. В числе первых прежде его находился один человек, который бы мог быть весьма полезен, брат генерала графа Сухтелена, Руф Корнилович, с которым путешествовал я по Сибири. Но он устарел, без брата жить не мог и, получив отпуск, отправился к нему в Стокгольм; оттуда прислал он просьбу об отставке. Его-то место втайне прочил мне Батюшков и для того желал познакомить меня с домом Олениных. Сим местом могли быть удовлетворены скромные желания мои: хорошая квартира с дровами, полторы тысячи рублей ассигнациями жалованья и занятия по вкусу, вот что, по тогдашнему мнению моему, казалось достаточным на целую жизнь.
Хотя по известности Батюшкова его чрезвычайно и приголубливали у Олениных, но он на одного себя не понадеялся, зная, что есть существо, которое мало-помалу овладело всем этим домом. Раз, прогуливаясь со мною вместе, как будто не нарочно завел он меня к другу своему, Гнедичу. Кривому Пиладу было мало одного Ореста, Крылова; тот никогда не отпирался от его дружбы, но никогда и не сознавался в ней; легче было приобрести ее у пылкого Батюшкова. Тесная связь между ними сплетена была как из хитрости украинца, так и из добросердечия и доверчивости русского. Предупредив Гнедича о своих и моих намерениях, он, как будто нечаянно, вспомнил о том, дабы у первого посещения отнять вид презентации и просительности. Приемом остался я доволен; в нем было даже нечто приязненное. Через несколько дней Гнедич сам зашел навестить меня и объявить, что дело можно почитать, как говорится, в шляпе; что оно могло бы тотчас быть окончено, но что Сухтелен при отставке требует полный пенсион и чин статского советника, чего нельзя сделать без государя, а он, кроме самоважнейших бумаг, не велел ничего присылать к себе в Вену, но, вероятно, скоро возвратится. Он сказал мне, что Оленин сам очень желает познакомиться со мной, но что чрезвычайно озабочен по новой должности, на него возложенной, и свободные минуты посвящает семейству своему, живущему до зимы на даче его, Приютине, в двадцати верстах от Петербурга. И действительно, контраст между Сперанским, столь примечательным по необыкновенному уму своему и познаниям, и преемником его Шишковым, который вне славянской лингвистики ничего не смыслил, был слишком разителен, чтобы сей последний мог долго оставаться на его месте государственным секретарем. Он уволен, и исправление этой должности поручено было Оленину.