22 января в Государственной Думе обсуждался вопрос о закрытии дверей в заседаниях Комиссии по государственной обороне. Говорил А. И. Гучков, прося от лица Комиссии по государственной обороне разрешения Думы закрывать двери во время заседаний в тех случаях, когда представители ведомств заявят, что та или другая тайна, которую они пожелают сообщить, носит характер военного секрета. Сдержанность и корректность, с которыми Гучков обратился к Думе, очевидно, не понравилась Пуришкевичу, который, войдя на трибуну, протестовал против такой осторожности Гучкова и прибавил: "Если бы я был морским или военным министром (всеобщий хохот) и если бы в эту комнату вошел депутат Милюков, я бы застегнулся на все пуговицы и поднял бы воротник" (шум, возгласы, крики "Долой!" "Вон!").
Пуришкевич пошел на свое место, крича: "Милюков — мерзавец, подлец!" Тогда Хомяков, Председатель Думы, обратился к Пуришкевичу: "Член Государственной Думы Пуришкевич, предлагаю вам извиниться перед Думой, иначе я предложу вас исключить на 15 заседаний". Пуришкевич на это отвечал: "Ввиду того, что я себе позволил, как это тут называется, непарламентское выражение, я беру свое слово назад, но заменяю другим, которое начинается с той же буквы, что и имя "Милюков".
На этот новый вызов Хомяков сказал: "Ввиду того, что член Думы Пуришкевич позволил себе оскорбить одного из наших товарищей, я предлагаю исключить его на 10 заседаний". Пуришкевич, давая объяснение, входя на кафедру, ответил: "Я всхожу на эту кафедру с тем, чтоб повторить то, что имел честь сказать. Я предпочитаю быть исключенным на 10 заседаний и с удовольствием плюну Милюкову..." (шум, звонок председателя). После этих слов Пуришкевича Хомяков предложил исключить его на 15 заседаний, что и было принято Думой.