Шли первые недели 1923 г. Близился XII съезд. На участие в нем Ленина надежды почти не оставалось. Возникал вопрос, кому читать основной политический доклад. Сталин сказал на заседании политбюро: "Конечно, Троцкому". Его сейчас же поддержали Калинин, Рыков и, явно против своей воли, Каменев. Я возражал. Партии будет не по себе, если кто-нибудь из нас попытается как бы персонально заменить больного Ленина. Обойдемся на этот раз без вводного политического доклада. Скажем то, что нужно, по отдельным пунктам порядка дня. "К тому же, -- добавил я, -- у нас с вами разногласия по хозяйственным вопросам". "Какие там разногласия?" -- ответил Сталин. Калинин прибавил: "Почти по всем вопросам в политбюро проходят всегда ваши решения". Зиновьев был в отпуску на Кавказе. Вопрос остался нерешенным. Я, во всяком случае, взял на себя доклад о промышленности.
Сталин знал, что со стороны Ленина на него надвигается гроза, и со всех сторон охаживал меня. Он повторял, что политический доклад должен быть сделан наиболее после Ленина влиятельным и популярным членом ЦК, т. е. Троцким, что партия ничего другого не ждет и не поймет; В своих попытках фальшивого дружелюбия он казался мне еще более чуждым, чем в откровенных проявлениях вражды, тем более что побудительные мотивы его слишком торчали наружу.
Вернулся с Кавказа Зиновьев. За моей спиной шли непрерывные фракционные совещания, в то время еще очень тесные. Зиновьев требовал для себя политического доклада. Каменев допрашивал наиболее доверенных "старых большевиков", из которых большинство лет на 10, на 15 покидало партию: "Неужели же мы допустим, чтоб Троцкий стал единоличным руководителем партии и государства?" Все чаще стали по углам шевелить прошлое, поминая старые мои разногласия с Лениным. Это стало специальностью Зиновьева. Тем временем положение Ленина резко ухудшилось, и с этой стороны никакой "опасности" не грозило. "Тройкой" решено было, что политический доклад сделает Зиновьев. Я не возражал, когда вопрос, после надлежащей закулисной подготовки, был внесен в политбюро. На всем была печать провизориума. Явных разногласий не было, как не было у "тройки" никакой своей линии. Мои тезисы о промышленности были сперва приняты без прений. Но когда выяснилось, что на возвращение Ленина к работе надежд нет, "тройка" сделала крутой поворот, испугавшись слишком мирной подготовки партийного съезда. Теперь она уже искала возможности противопоставить себя мне в верхнем слое партии. В последний момент перед съездом Каменев внес к моей уже одобренной резолюции дополнение насчет крестьянства. Нет смысла останавливаться здесь на существе поправки, которая имела не теоретический, не политический, а провокационный характер. Она должна была дать опору для обвинений меня, пока еще за кулисами, в "недооценке" крестьянства. Спустя три года после своего разрыва со Сталиным Каменев со свойственным ему добродушным цинизмом поведал мне, как готовилось на кухне это обвинение, которого никто из авторов, разумеется, не брал всерьез.