Другие честолюбцы присоединились к фавориту-лакею, чтобы руководить им и воспользоваться той, думаю я, магнетической силой, которую он умел проявлять над личностью своего господина. Граф Растопчин был, как кажется, вдохновителем и душою заговора. Благодаря интриге, он был удален от императора и заменен Нелидовым, племянником фрейлины с портретом (этот орден дает в России чин фельдмаршала; из девиц только Протасова при Екатерине, Нелидова при Павле и Орлова при Николае получили этот орден).
Растопчин был даже выслан в Москву, ибо Павел никогда не удерживался в границах умеренности, всегда преувеличивал значение всякого намека, во всем спешил и заходил как можно дальше. Растопчин был не из тех, кто прощает подобные обиды: он хотел отомстить тем, кто был причиной его падения, и соединился с Кутайсовым. Надо было вырвать Павла из-под власти увлечения Нелидовой и поссорить его с женой. Для этого императору дали понять, что он состоит под опекой, что эти две женщины управляют страной от его имени, что в этом все убеждены. Ему представили особу моложе и красивее Нелидовой и уверили, что она не будет иметь претензий на то, чтобы им править. Все это увенчалось удачей. Павел влюбился в дочь Лопухина, бывшего московским полицеймейстером при Екатерине. Лопухин получил титул князя и голубую ленту за то, что не препятствовал видам императора на его дочь. Растопчин был возвращен и получил пост министра иностранных дел. Все должностные лица, принадлежавшие к партии императрицы, князья Куракины и их родственники, с старым князем Репниным во главе, потеряли свои места и были высланы в Москву. Крушение партии было полное. Стоило императору заподозрить, что кто-нибудь пользуется протекцией или благоволением императрицы, и такой человек терял должности и был удаляем от двора.