Редактируя все издание, которое должно было выходить по строго разработанному мною плану, я, естественно, устанавливал с каждым автором объем его работы, детальный план и характер. "История" не может быть разнобойной, а должна быть выдержана в одном типе. Не имея возможности подолгу сидеть в Петербурге, я вел обширную переписку со всеми сотрудниками, обсуждая и разъясняя все спорные вопросы. Эта переписка, видимо, тяготила Бенуа, не любившего никаких ограничений своей творческой инициативы, и он начал отказываться от сотрудничества. Пришлось ехать в Петербург улаживать дело. Удалось уговорить его продолжать работу и принять хотя бы некоторые наиболее необходимые для однородности издания условия.
Только что я вернулся в Дугино, как он вновь начал слать письмо за письмом ноющего содержания. В мае 1908 года он окончательно и бесповоротно отказался, прислав мне дружеское, но страстное письмо.
"Не огорчайся, но приходится мне отказаться от участия в твоей книге, - писал он мне 5 мая. - Мне очень совестно, что подвожу тебя, и очень грустно, что моего имени не будет в этом монументальном труде, но c'est plus fort que moi. Я долго крепился, несколько раз принимался, кое-что даже сделал, но, не чувствуя настоящего горения к делу, я не в состоянии довести его до конца. У меня нет аппетита к этой работе. Все надеялся, что он явится, - а так и не явился.
Быть может, ты несколько сам в этом виноват. Я люблю свободу творчества, открывать, строить; ты же обставил меня своими рецептами и программами, запугал меня массой своих сенсационных и притаенных открытий. Я принужден что-то компилировать, объезжать какие-то рифы, слушаться какого-то лоцмана. Мне это скучно".
Ушел самый ценный, самый даровитый и культурный сотрудник огромного дела, поставленного тогда уже на твердую основу. Его уход срывал работу: я должен был бросить свою работу над историей живописи, к тому времени уже значительно продвинувшуюся вперед, и переключиться на историю русской архитектуры.