История с неудавшейся попыткой нелегально вывезти двух советских гражданок с территории СССР обернулась неожиданными осложнениями и для самого Агабекова – Арутюнова. Бельгийские власти вынесли решение о том, что участие в подобной авантюре несовместимо с его прибыванием в стране и, несмотря на попытки главы секретной службы Бельгии барона Фельхюста отменить высылку, чекист-перебежчик был вынужден покинуть бельгийскую столицу и обосновался в Германии.
Как утверждает Брук-Шеперд, незадолго до переезда в Германию бывший начальник восточного сектора иностранного отдела ОГПУ стал фактическим агентом британской секретной службы. Чем конкретно он занимался в этом новом для себя качестве – неизвестно. В Берлине Агабеков имел некоторые деловые связи – именно здесь в 1930 г. он издал на русском языке свою первую книгу "ГПУ. Записки чекиста". О деятельности Агабекова в Германии мы, к сожалению, ничего не знаем. В апреле 1936 г. завершилась история его романтической любви. Он разошелся с Изабел, которая вернула себе девичью фамилию и уехала в Англию. А органы тем временем не оставляли намерений ликвидировать перебежчика. Охота за ним продолжалась.
Обстоятельства гибели Агабекова до сих пор точно не установлены. Брук-Шеперд выяснил, что в 1937 г. во время гражданской войны в Испании Агабеков через агента НКВД Зелинского был вовлечен в осуществление операции по вывозу художественных ценностей из этой страны.
Дело заключалось в следующем – по инициативе НКВД специальные службы Испанской республики организовали широкомасштабные акции по разграблению монастырей, церквей и частных коллекций. Изъятые произведения искусства переправлялись через французскую границу, а затем поступали к перекупщикам антиквариата в Европе. Значительная часть вырученных таким образом средств шла на оплату советской помощи испанским республиканцам. Прельстившись большими комиссионными, Агабеков принял участие в этой незаконной и нечистоплотной авантюре. Осторожность на этот раз изменила ему – очевидно, что он не мог не догадываться о том, кто стоит за спиной испанцев и тем не менее согласился. В его задачи входило получение ценностей на границе и наблюдение за их транспортировкой на территории Франции. Летом 1937 г. Агабеков поселился в приграничном районе и в августе был убит в горах при загадочных обстоятельствах. Подробности убийства не известны, но и Бажанов и Брук-Шеперд утверждали, что спустя семь лет после бегства его настигла в Пиренеях месть советской госбезопасности. Труп Агабекова был обнаружен на испанской территории через несколько месяцев после убийства.
В июле 1936 г. по постановлению ЦИК СССР органы госбезопасности вошли в Народный комиссариат внутренних дел (НКВД) СССР.