Особое место занимал иностранный отдел во главе со вторым заместителем председателя ОГПУ и выделенный из общей структуры управления. Несколько лет во главе его стоял Трилиссер, с которым Агабеков работал в непосредственном контакте. Отдел фактически руководил всей разведкой за рубежом. Конкретно это означало, что его сотрудники, добывая секретную информацию, доставляли материал для анализа политического, экономического и отчасти военного положения иностранных государств. Главным потребителем информации отдела были всесильное Политбюро ЦК и лично Сталин. На базе сведений, доставленных разведкой, в значительной степени основывались внешнеполитические стратегия и тактика советского режима. Заметим, что специально военной разведкой в тот период ведало Разведывательное управление штаба Рабоче-Крестьянской Красной Армии. Его штатный аппарат за границей составляли военные атташе посольств, а нелегальная агентура вербовалась независимо от ОГПУ.
В иностранный отдел входили несколько секторов, работа которых была связана с различными регионами мира. Выполняя свои задачи, они действовали в двух направлениях. Во-первых, в каждом советском представительстве за границей был специальный сотрудник – резидент ОГПУ. Занимая официальный дипломатический пост, он в то же время руководил секретной агентурой. Как правило, резидентам предоставлялись должности вторых секретарей или атташе полпредств СССР. Однако в зависимости от ситуации резидент мог формально числиться в любом советском торговом или культурном учреждении. Их связь с Москвой осуществлялась через дипломатических курьеров Наркомата иностранных дел. Для этого резидент передавал запечатанный конверт с информацией полпреду, а тот, не знакомясь с текстом, отправлял его в конверте дипломатической почты. Адресована эта корреспонденция была "Историко-научному обществу" в Москве – этот наивный шифр означал заглавные буквы настоящего адресата – иностранного отдела ОГПУ на Лубянской площади.
Помимо резидентов, имевших дипломатический статус (они иногда даже работали под своими фамилиями), за границей действовала строго законспирированная секретная резидентура. Эти разведчики внешне никак не были связаны с СССР, в их задачу, в первую очередь, входила полная натурализация в стране. Они жили либо по фальшивым, либо по подложным документам других лиц и не поддерживали никаких явных контактов с советскими представительствами. Все связи с руководством иностранного отдела ОГПУ осуществлялись, как правило, по конспиративным каналам. В частности, для организации связи с резидентом в Стамбуле на советских торговых судах, курсировавших между Одессой и турецкой столицей, действовал специальный разъездной агент, который под видом члена экипажа, находясь в городе, получал донесения советских разведчиков и передавал их в Москву. Аналогичная система существовала в других крупных портовых городах. Позднее эти каналы частично сменила радиосвязь. В некоторых случаях натурализовавшиеся резиденты пользовались и дипломатической почтой.