Между офицерами считалось как бы обязанностью быть влюбленным в танцовщиц, особенно в воспитанниц театральной школы. Булгаков тоже ухаживал за одной из них и, однажды, уехал с дежурства в балет.
Великий князь неожиданно тоже приехал в театр. Он знал всегда, кто из офицеров дежурит на гауптвахте, а также кто из них ухаживает за кем в балете. Увидав в креслах Булгакова, он даже не сел, а сейчас же поехал на гауптвахту, на которой должен был находиться в карауле Булгаков. Каково же было его удивление, когда, приехав на гауптвахту, он увидел Булгакова стоявшим перед ним.
- Ты был сейчас в балете... как ты очутился здесь? - с удивлением спросил его великий князь.
- Виноват, был-с, но вы сами, ваше высочество, изволили меня привезти из театра, - отвечал Булгаков.
При этом он рассказал великому князю, что догадавшись, что великий князь поехал на гауптвахту, он выбежал из театра и успел вскочить на запятки саней великого князя.
Великий князь посадил Булгакова на месяц под арест, сказав: "Ты целый месяц не будешь в балете", - но потом смиловался и наполовину убавил наказание.
Повесничеству Булгакова не было конца. Он раз при мне на музыке в Павловске держал пари с одной моей знакомой, что пройдется сейчас же мимо нее под руку с великим князем; конечно, наше общество было уверено, что Булгаков проиграет, но он выиграл. Мы видели, как Булгаков подошел к великому князю, что-то ему сказал, и великий князь дозволил ему взять себя под руку. Булгаков сознался великому князю, что он до безумия влюблен в одну особу, что если великий князь удостоит его "пройтись мимо этой особы", то он сделает его счастливейшим человеком.