Только после этого случая Хрущев согласился убрать Серова из КГБ. Перевели его в Генштаб начальником ГРУ. Эта должность не связана с политикой внутри страны. Но только после дела Пеньковского удалось нам настоять на том, чтобы уменьшить его генеральский чин и убрать с большой работы.
Козлов и Игнатов вели борьбу друг против друга. Между прочим, я сначала к Игнатову хорошо относился: выходец из рабочих, ловкий и активный в работе. Но он оказался неисправимым интриганом с непомерными амбициями. Поэтому вначале Козлов старался заручиться моей поддержкой, дружить со мной, когда работали в Совете Министров. Конечно, дружбы у нас с ним быть не могло.
Козлов был неумным человеком, просталински настроенным, реакционером, карьеристом и нечистоплотным к тому же. Интриги сразу заменили для него подлинную работу. Вскоре после того, как Хрущев перевел его в Москву из Ленинграда, выведя из-под острой критики и недовольства им Ленинградской партийной организации, роль Козлова, введенного в Президиум ЦК, стала возрастать. Он был большой подхалим. Видимо, разгадал в Хрущеве слабость к подхалимам, еще будучи в Ленинграде. Тогда-то Хрущев и сказал знаменитую фразу: «Не делайте из Козлова козла отпущения». Между тем к нему были обоснованные претензии ленинградцев за его преследование тех лиц, которые уцелели в ходе «ленинградского дела» 1949-1950 гг.
Припоминаю эпизод, когда на Президиуме ЦК Козлов чуть не разрушил весь механизм СЭВа. Однажды, незадолго до его инсульта, на Президиуме докладывал Архипов о СЭВе. Видимо, интригуя против меня (я курировал наше представительство в СЭВе), Козлов выступил очень резко против нашей деятельности в СЭВе. Конечно, не по существу, не конкретно, так как он не знал сути работы этой организации, да и знать не хотел. У меня тоже время от времени возникало неудовлетворение работой СЭВа, но я искал пути, как улучшить эту работу. Козлов же стал все огульно хаять, грубо обзывать Архипова, назвав дураком, что было недопустимо на официальном заседании. Более того, он предложил Хрущеву потребовать от социалистических стран Европы отказаться от правила единогласия в СЭВе и перейти к решению вопросов простым большинством, отменив право вето каждого из участников. Это был бы чрезвычайно опасный шаг: и так со стороны Польши, Румынии, Венгрии было недовольство навязыванием им определенных решений, а лишить их права вето означало бы пойти на риск прямого конфликта, саботажа деятельности СЭВа. Потенциально такой конфликт мог потянуть за собой и другие конфликты. Услышав такое, я решил опередить Хрущева — его реакция была непредсказуемой — и вмешался. «Это — суверенные государства, — сказал я. — Заставить их подчиняться большинству, которое мы, конечно, почти всегда себе обеспечим, значит, посягнуть на их суверенитет. Мы уже имели события в Венгрии и Польше. Только право вето позволяет иметь СЭВ. Козлов не понимает простых вещей. Фрол, — сказал я, обращаясь уже непосредственно к нему, — ты называешь людей дураками, хотя в данном случае больше это слово относится к тебе самому». Я не на шутку рассердился, говорил очень горячо, сознательно пошел на грубость, чтобы защитить Архипова и спасти СЭВ, а Козлова поставить на место. Хрущев в такой обстановке уже не мог его поддержать — право вето в СЭВе было сохранено.
Тем не менее Хрущев продолжал называть Козлова своим преемником. Он абсолютно в нем не разобрался. Оставить Козлова в качестве первого человека было бы катастрофой для страны. Надеюсь, многие выступили бы против. Я бы сделал это первый. А если бы ему удалось добиться поста Первого секретаря, я обязательно немедленно подал бы в отставку. Зная его, я хорошо представлял, насколько он был опасен: мог попытаться действовать сталинскими приемами без ума и силы Сталина и принес бы много бед в любом случае. Он уже успел внести в Устав партии изменения, которые, по сути, гарантировали избрание в партийные комитеты любого непопулярного деятеля.