Два года спустя, предприняв намеренно длительную поездку по западным окраинам России и далее за границу, 11 сентября 1862 года он останавливается в Гродно. Останавливается в дрянном, но лучшем в городе “заезде” какой-то Эстерки. Скверно пообедав где-то, возвращается в свой холодный номер и, поджидая, когда за ним зайдет его спутник, польский поэт Вицентий Коротыньский, “завернулся в шинель и лег в постель. По мере того как я, — пишет он в своей корреспонденции в петербургскую газету, — согревался, меня стал одолевать сон, и я проснулся, когда было уже темно. В соседнем нумере налево горели свечи, и свет сквозь дверные щели падал двумя яркими полосами на пол моей комнаты. Я очень люблю сумерки, когда остатки дневного света еще борются с ночною тьмою; спешить было некуда, и потому я не встал с своей согревшейся постели. Szara godzina, серый час, как называют поляки сумеречный час, необыкновенно располагает к мечтам и воспоминаниям. У меня немного воспоминаний, но тем не менее они мне приятны. Под звуки свежих женских голосов моих соседок я вспомнил другой полупольский город, стоящий не в холодной Литве, а в роскошной Украине; вспомнил маскарады, желтый дом, комнатку над брамой (воротами), белокурые локоны на миловидном личике и коричневое платьице на стройном стане. Потом пошли другие воспоминания, розы смешались с шипами; потом розы совсем куда-то запропастились, и остались одни иглы, все иглы, иглы, и вот я, одинокий и разбитый, лежу в холодной комнате литовского заязда и волей-неволей слушаю разговор двух польских помещиц, рассуждающих о приданом. Приданое! Какое это странное слово, думаю я, и снова чувствую, что меня одолевает дремота” [“Из одного дорожного дневника”. — “Северная пчела”, 1862, № 337, 13 дек.].
Неотвязано вставали сперва веселые картины почти юношеских киевских лет, а за ними шли горькие воспоминания об иглах неосторожного осложнения жизни на едва зардевшейся ее заре.
В дальнейшем Ольгу Васильевну постигает серьезный удар: киевская банкирская контора некоего де Мезера, в которой была помещена главная часть ее средств, лопается. Назначается конкурсное управление по делам несостоятельного должника. По решению этого правления клиентам выплачивается четыре или пять копеек за рубль.
Разорение окончательно подавляет психику растерявшейся женщины. Год от года она больше сумасбродствует, не находит себе места в жизни, дела, даже постоянного угла. Она тяготится дочерью и временами требует, чтобы последнюю взял к себе отец. Алексей Семенович и Марья Петровна готовы дать ей с ребенком приют, но в последнюю минуту она опять куда-нибудь бросается, чего-то ищет, строит нелепые планы. С возрастом психическое состояние ее резко ухудшается: она мнит себя то миллионершей, то нищей.