Топологическая алгебра, точнее, теория топологических или непрерывных групп была предметом моей научной и педагогической деятельности в течение нескольких лет. Большой успех в этой области был достигнут мною на основе только что появившейся тогда замечательной работы венгерского математика Хаара. В ней Хаар построил на локально компактной топологической группе инвариантную меру. Это позволяло строить и решать на группе интегральные уравнения, так что можно было применить данную ранее Германом Вейлем теорию представлений компактных групп Ли. Работа Хаара была опубликована в американском журнале «Annals of Mathematics», где членом редакции был фон Нейман. Последний сразу же воспользовался замечательным результатом Хаара, решив при помощи него пятую проблему Гильберта для компактных групп. Я, конечно, мог использовать результат Хаара только уже после Неймана. Для компактных групп я получил результат несколько более сильный, чем у Неймана, но это уже не было решением проблемы Гильберта, так как она была решена Нейманом. Кроме того, я изучил локально компактные коммутативные топологические группы. Моя работа о локально компактных коммутативных группах была послана в тот же журнал. Лефшец, который в то время находился в Москве, процитировал мне письмо Неймана, в котором писал, что от Понтрягина получена действительно замечательная работа[1].
По теории непрерывных групп, в частности групп Ли, я прочёл несколько спецкурсов и провёл несколько семинаров. Получил важные собственные результаты. И мне захотелось написать книгу. К 1935 году я уже был готов к написанию большой монографии «Непрерывные группы». В неё вошли: общая теория топологических групп, мои собственные результаты, а также очень хорошее только что полученное мною изложение теории групп Ли. Я писал эту книгу два года и в 1937 году сдал в печать. На этом я научился писать математические работы. В 40-м году за эту монографию мне была присуждена Сталинская премия 2-й степени. Книга очень скоро была переведена в США на английский язык и сильно увеличила мою международную известность[2].
Другим ответвлением от моих студенческих работ по теореме двойственности Александера была попытка локализировать эту теорему. Это было связано с новой тематикой П. С. Александрова. Он стал применять комбинаторную топологию для изучения компактных топологических пространств, в частности переносить на них теорию гомологий.
Он старался определить при помощи гомологий размерность множества, ввёл понятие «по модулю два» и пытался доказать, что обычная размерность совпадает с гомологической размерностью по модулю два. Я сразу увидел, что размерность можно определить не только по модулю два, но и по любому другому модулю. Так что получается счётное число различных гомологических размерностей.
Доказательство того, что размерности эти различны, было моим достижением. Пользуясь этими соображениями, я построил ставший знаменитым пример двух компактных топологических множеств размерности два, топологическое произведение которых имеет размерность три.
Результат был опубликован в журнале «Comptes Rendus»[3]. Эта заметка попала в руки С. А. Лефшеца и оказалась противоречащим примером к уже построенной Лефшецом и публикуемой им теории гомологической разности. Ему пришлось срочно выкидывать из набора целую главу своей книги.
Лефшец сразу же заметил меня. Александров рассказал мне позже, что, когда после этого он встретил Лефшеца в Америке, тот спрашивал его обо мне, спрашивал, не еврей ли я, и был несколько разочарован, узнав, что я русский. Однако Лефшец отнёсся ко мне очень хорошо.
В начале 30-х годов Лефшец впервые приехал в Советский Союз, он почти сразу же пришёл ко мне с Л. Г. Шнирельманом. Я очень хорошо помню эту встречу. Она потрясла меня: такой выдающийся математик, как Лефшец, пришёл ко мне — аспиранту — домой. В этот его приезд в Москву мы много проводили вместе с ним времени, ходили по Москве, разговаривая о разных вещах, о математике, о политике, о многом другом.
Свою работу, в которой был дан пример двух двумерных множеств с трёхмерным топологическим произведением, я собирался подарить одной студентке, в которую был безответно влюблён. Помню, как я пришёл к Павлу Сергеевичу в профессорскую и рассказал ему о своём горе и своём замечательном достижении. Александров сразу же решительно запретил мне делать такой роскошный подарок студентке, которая, кстати, ему не нравилась! А моим научным достижением был так впечатлён, что сказал:
— Через десять лет Вас выберут академиком!
Его прогноз не оправдался. Через 10 лет меня выбрали не академиком, а только членкором, хотя был выдвинут, действительно, в академики. Что касается подарка, то я его всё же сделал. Но более скромный. Соответствующая работа, по настоянию Александрова, была опубликована как совместная[4].
Александров пытался дать гомологическую характеристику обычной размерности, но это была очень трудная задача. То же самое пытался сделать и я. Но я пытался сделать это несколько иначе, чем Александров. Именно, я пытался охарактеризовать размерность, помещая множество в евклидово пространство и стремясь доказать, что множество размерности r , лежащее в n -мерном евклидовом пространстве, хотя бы в одной точке составляет локальное препятствие для гомологии размерности r –n –1. Первоначально эту задачу решили мы совместно с Франклем для двумерных множеств в трёхмерном евклидовом пространстве, пользуясь одной теоремой об узлах[5]. А затем Франкль решил её очень остроумно для множеств размерности n –1 в евклидовом пространстве размерности n . Именно, он доказал, что такое множество локально разбивает евклидово пространство. Однако решение общей задачи для r -мерного множества в n -мерном пространстве нам с Александровым очень долго не удавалось получить. Решил её не я, а П. С. Александров.
Я же, пойдя по ложному пути, пришёл к мысли, что решение идёт через гомотопическую классификацию отображений (n +k )-мерной сферы на n -мерную, чем и занялся специально уже много позже. Проблема эта представляла сама по себе, конечно, самостоятельный интерес, и ею занимались многие. Случай k =0 был исследован Хопфом, случай k =1, n =2 был также решён Хопфом. Случай, когда k =1, а n — произвольно, решил я. Также я решил задачу для случая k =2, n — произвольно[6]. Но для произвольного k задача оказалась чрезвычайно трудной. В попытках решить её я построил теорию характеристических циклов гладких многообразий уже перед самой войной[7].
Построенные мною характеристические циклы приобрели широкую известность и получили название классов Понтрягина. Они нашли многочисленные применения, но одну из важнейших проблем, связанных с ними, долгое время никому не удавалось решить. Именно: хотелось доказать, что классы Понтрягина являются инвариантами самого топологического, а не только дифференцируемого многообразия. Я эту задачу пытался решить, но не решил. Много позже её решил положительно, но частично, Сергей Петрович Новиков.
Оказалось, что для характеристических классов конечного порядка топологической инвариантности нет, а она имеет место лишь для характеристических классов по полю рациональных чисел. Всё это было доказано С. Новиковым.
Так из моих студенческих работ очень косвенным образом выросло новое направление, именно — теория гомотопий.