Я уехал в Берлин, и там в Центральном комитете обсудили вопрос о моей будущей партийной деятельности. В ЦК предложили мне оплачиваемую работу в руководящих органах партии, однако я отказался, поскольку предпочитал набрать побольше практического опыта и в то же время хотел закончить образование. Друзья предложили мне должность ассистента на социологическом факультете Франкфуртского университета и одновременно быть там внештатным преподавателем. Руководство партии одобрило эту идею и поручило мне активную работу в парторганизации Франкфурта.
Во Франкфурте я стал членом городского партийного руководства и отвечал, как и раньше, за учебную работу, а кроме того, был консультантом коммунистической печати. Вскоре после этого компартия в Германии была объявлена вне закона. Благодаря тому, что мое имя не было хорошо известно властям во Франкфурте, я имел возможность с большой пользой трудиться для партии. Я вел секретное делопроизводство и регистрацию членов партии, а также обеспечивал тайную связь между ЦК в Берлине и организацией во Франкфурте. Партийные средства и пропагандистские материалы посылались на мой адрес. Крупные посылки я скрывал в учебных аудиториях в ящиках для угля или прятал в моем кабинете и библиотеке социологического факультета университета. Кроме меня там же работали два-три члена партии, поэтому не было нужды бояться разоблачения. Таким образом, мы сохраняли деньги и материалы, поэтому в случае необходимости в них руководящих органов их можно было быстро изъять и использовать. Несмотря на то, что компартия была запрещена, благодаря такой системе во Франкфурте деятельность партии ничуть не сократилась. Когда в Саксонии в результате вооруженного восстания была установлена рабочая республика, я по решению партии постоянно поддерживал с ней тайную связь. Выполняя специальные задания, я часто посещал Саксонию и доставлял важные указания и распоряжения по политическим и организационным вопросам, которые партия направляла через нас во Франкфурт.
Когда в 1924 года состоялся съезд компартии во Франкфурте-на-Майне, для участия в нем в качестве представителей Коминтерна нелегально прибыли советские коммунисты. По решению руководства мне было поручено осуществлять их личную охрану. Во время съезда я обеспечивал безопасность этих важных делегатов, занимался их размещением и делал все, чтобы они могли спокойно заниматься делами. В это время Германская коммунистическая партия столкнулась с серьезными политическими трудностями, почему Коминтерн и послал к нам четырех человек – Пятницкого, Мануильского, Куусинена и Лозовского. Я был одним из делегатов съезда, а кроме того, выполняя это нелегкое поручение, старался полностью удовлетворить нужды закрепленных за нами делегатов. Нечего и говорить, что у меня с представителями Коминтерна установились очень тесные отношения, и день ото дня они становились все более дружественными. При закрытии съезда они предложили мне приехать в этом году в Москву и поработать в штаб-квартире Коминтерна, но я не смог тогда выехать в Москву, так как сразу после Франкфуртского съезда я должен был участвовать в целом ряде совещаний по проблемам организационной и информационной работы. Однако предложения представителей Коминтерна о моей работе в разведотделе Коминтерна были одобрены руководством партии в Берлине, и в конце 1924 года я отбыл в Москву, а в январе 1925 года приступил к работе. В то же время Пятницкий перевел меня из Германской в Советскую коммунистическую партию.