Первой и, без сомнения, одной из наиболее великодушных мыслей Павла, по восшествии на престол, было решение освободить польских узников.
Подобно своему отцу, посетившему в тюрьме Иоанна VI, он отправился сам к Костюшко, осыпал его заботами и вниманием, сказал ему, что если бы он царствовал в то время, то не согласился бы на раздел Польши, что он сожалеет о совершении этого несправедливого и неполитического акта, но что теперь, когда раздел совершился, не в его власти уничтожить этот акт, и он должен его поддерживать.
По просьбе Костюшко, император освободил одного за другим и всех остальных заключенных, потребовав, чтобы они принесли присягу в верности.
Исключение было сделано только для графа Игнатия Потоцкого; прежде чем освободить его, потребовали ручательства за его поведение от всех поляков, находившихся в Петербурге.
Каждый раз, когда императору приходилось оставлять без исполнения ходатайства Костюшко о его соотечественниках, он извинялся перед Костюшко, указывая на то, что вынужден был считаться с представлениями министров, которые мешали ему следовать влечению сердца. Костюшко, подавленный грустью, покрытый еще не залеченными ранами, ослабевший, носивший тогда на своем лице выражение потерянной надежды и трогательной покорности Провидению, полный угрызений совести в том, что продолжает жить, не сумев спасти отечество, - не мог, конечно, ввиду такого состояния внушать императору никакого страха и подозрений. Он мог лишь интересовать императора своею личностью и внушать ему симпатию. Император часто посещал Костюшко в сопровождении всей императорской фамилии, оказывавшей генералу внимание, я сказал бы, почти искреннюю нежность.
Великий князь Александр, без сомнения, более чем кто-либо разделял эти великодушные чувства, но его всецело поглощали тогда служебные занятия, так что в первое время я почти не мог с ним сходиться. С началом нового царствования мы встречались реже и встречаться было труднее, невероятный страх перед отцом мешал Александру лично выразить Костюшко свои давние чувства.