Но Усов не ограничивался зоологией: «Сергей Алексеевич был строгий логический ум… В молодости он много изучал… Канта и… свободно вращался в самых отвлеченных логических тонкостях…» (Бугаев: «С. А. У.»). Художественная натура, он был законодателем художественных вкусов Москвы, вместе с покойным С. А. Юрьевым и Л. И. Поливановым; знаток театра и шекспирист, он сам играл в молодости; и в пьесах иных не уступал он Садовскому; кроме того: много лет изучал он историю живописи и даже читал курс по истории изящных искусств в старших классах гимназии Поливанова.
«Начались чтения и уже не прекращались до самой кончины Сергея Алексеевича… Он нашел здесь исход тому захватывающему чувству изящного, которое составляло господствующее настроение последних годов его жизни… То не были лекции в собственном смысле… „Не собирайте их в класс, не сажайте меня на кафедру. Посадите нас вокруг большого стола“. На… рассматривании… коллекции основывались все беседы. Здесь-то делались С. А. Усовым… неуловимые… замечания, которые и выдавали всю артистическую натуру покойного» (Л. И. Поливанов: «Воспоминания о С. А. Усове»).
Под конец жизни он увлекся древнерусскою иконописью: «Смерть его застала за большим исследованием об архитектуре старинных русских церквей» (Бугаев: «С. А. У.»). Кроме того, он изучил археологию и писал по специальным вопросам: «Его исследования о старинных русских деньгах ценятся очень высоко специалистами… Зоолог, натуралист, археолог, он был замечательным знатоком литературы, относящейся к истории религий… У него на дому была целая коллекция русских летописей… Покойный Беляев, знаток… летописей, был высокого мнения об его познаниях… Шекспир, Пушкин, Шиллер, Гете были его настольными книгами… С. А. был прекрасный чтец… Его грандиозная фигура, благородное выражение лица, хороший голос, разнообразная интонация давали прекрасный материал для драматических ролей» (Бугаев: «С.А.У.»).
Размах фигуры этой меня поразил в детстве; он рано угас для меня; и более всего я его слушал издали, из постельки, когда он появлялся у нас на пятницах, по вечерам; потому-то я и ссылаюсь на свидетельства о многообразии даров, в нем живших; они мне объясняют то мощное воздействие, которым я был охвачен издали, при появленье его; веяло чем-то живым, бодрым, неугомонным; он во всем переплескивался через край; и, леча летами крестьян, он вдруг специализировался на дифтерите, — да так, что, едва заболевал кто-либо дифтеритом в нашем кругу, откуда-то приносился Усов с машинкою для вдыхания; и блестяще вылечивал; когда мать заболела дифтеритом, принесся Усов; и каждый день по коридорику из передней в комнату матери протопывала мимо детской его массивная фигура; он в первые дни болезни уселся сиделкою у ее изголовья: лечил, бодрил, развлекал и читал мастерски ей рассказы Слепцова; он, может быть, от матери отстранил смерть.
Это было последнее явление его на моем горизонте; вскоре он заболел; три припадка ангины следовали один за другим; от третьего умер он.
И такою же крупной, умной, шумной, массивной, всегда независимой казалась жена его, Анна Павловна, которая по смерти моего крестного отца унаследовала его функции; я крепко потом привязался к крестному отцу в юбке; до самой смерти ее отношения наши оставались прекрасны.