Когда начались нападки на него в печати, то в раздражении своем он уж решительно не был в состоянии владеть собой. Особенно чувствительна для него была полемика "Московских ведомостей". Необходимо сказать здесь несколько слов вообще об отношениях обоих братьев Милютиных к М.Н. Каткову.
Впервые познакомились они с ним в начале 1865 года, когда Катков приехал в Петербург, осененный блеском великих заслуг, оказанных им во время польского восстания, составивший себе такое положение, каким не пользовался еще в России ни один человек вне государственной службы.
Слова "Катков в Петербурге" переносились из одной гостиной в другую; все желали его видеть, повсюду только и было разговоров о том, что привлекло его в столицу; появление его там было событием, пред которым стушевывались другие интересы. Очень понятно, что оба Милютины желали с ним познакомиться; он оказывал им могущественную поддержку в польском вопросе; они возлагали на него большие надежды для будущего; особенно Николай Алексеевич спешил закрепить связь, установившуюся между ним и Михаилом Никифоровичем, личными сношениями. Условлено было чрез В.П. Боткина, у которых остановился знаменитый гость, что он придет к Дмитрию Алексеевичу в такое-то воскресенье вечером.
Живо помню, с каким лихорадочным нетерпением ожидали его собравшиеся у Милютина гости, из которых многим еще никогда не случалось встречаться с ним; но время проходило, а Катков не появлялся; по своему обыкновению он где-то засиделся, не обращая внимания на то, что становится поздно; казалось, уже нечего было рассчитывать на его приезд, как вдруг в одиннадцатом часу вошел он в гостиную, где все сидели за чайным столом.
Произошла конфузная сцена: Катков, видя, что все взоры обращены на него и что наступило общее молчание, смутился, сел на кресло, вертя шляпу в руках, а все остальные, не исключая и хозяина, тоже не находили, как начать беседу. Наконец Дмитрий Алексеевич увел его к себе в кабинет, где просидел с ним наедине до поздней ночи.
С этого времени начались постоянные их сношения, но настоящей близости между ними быть не могло: за исключением политики, которой следовало нашему правительству держаться относительно поляков и прибалтийских немцев, Катков не разделял образа мыслей Д. Милютина, а Д. Милютин, сознавая это, сторонился от негр также и потому, что вообще люди с самостоятельным, сильным характером никогда не привлекали его к себе.
Иначе относился к знаменитому писателю Николай Алексеевич. Замечу вскользь, что первое впечатление, произведенное на него Катковым, было совершенно ошибочно. Катков приехал к нему вместе с П.М. Леонтьевым, долго беседовали они, и вечером того же дня Николай Алексеевич сказал мне: "Эти люди как бы нарочно созданы друг для друга; мне кажется, что в умственном отношении Леонтьев гораздо выше своего приятеля, идеи зарождаются, вероятно, в его голове, но Катков неизмеримо талантливее и, овладев этими идеями, умеет так развивать и излагать их, что производит сильное впечатление". Таким образом, по мнению Н. Милютина, на первом плане у Леонтьева был ум, у Каткова же талант. Судить о них таким образом значило вовсе не знать их.
Павел Михайлович Леонтьев обладал огромными и разнообразными достоинствами, но он во всем значительно уступал своему другу, -- одному из тех людей, которые рождаются веками, у которых способность глубокого и разностороннего мышления развита в высшей степени.
Впрочем, с течением времени сам Николай Алексеевич должен был, конечно, убедиться в несостоятельности своего предположения.
В натуре его были некоторые черты, родственные с Катковым, и, знакомясь с ним ближе, он приходил в восхищение от него.
В высшей степени дорожил он отзывами "Московских ведомостей" о каждом из своих мероприятий. Не припомню в точности, о какой именно из законодательных мер, изготовленных им для Царства Польского, он говорил мне следующее: "Мы старались редактировать этот закон таким образом, чтобы скрыть настоящую цель, для которой он необходим; теперь было бы неудобно прямо указывать на нее; впоследствии же ничто не помешало бы нам воспользоваться законом, о котором я говорю, для осуществления дальнейших наших намерений. И что же? Только что обнародован был высочайший указ, как в "Московских ведомостях" появляется передовая статья, в которой говорится, что с первого взгляда принятая нами мера представляется не особенно важною, но что она получит огромное значение, если посредством ее будут разрешены со временем вот такие-то задачи. Жаль, что я не предупредил Каткова, но удивляюсь его проницательности и политическому смыслу".