При Евгении Ивановиче богатство, слава и могущество семьи Армандов достигло своего апогея.
В молодости Евгений Иванович служил приказчиком у немца фабриканта в Вантеевке, что около Болшева. Служил довольно долго. Когда драчливый и заносчивый немец за какое-то трактирное безобразие угодил в тюрьму, Евгений Иванович, будучи ещё молодым, купил фабрику немца с торгов. Фабрика вскоре сгорела. Он купил новую, каменную, более современную. Это была красильная фабрика, находящаяся в селе Пушкино Московской губернии.
Прямо на территории фабрики Евгений Иванович построил дом и сделал его своей резиденцией.
Вся остальная его жизнь прошла в увеличении благосостояния. У красильной фабрики появилась пара — джутовая мануфактура. Мешки и брезенты ткались и сшивались на всю губернию. Постепенно у Евгения Ивановича оказались имения: в Московской, Владимирской и Ярославской губерниях. Это были: Алёшино, Пестово, Ельдигино, Заболотье, Володькино, Рождествено и Сергейково. Там преобладали леса, пахотных угодий почти не было, сельское хозяйство не велось. Производилась только рубка леса в ограниченных размерах, да охота. Евгений Иванович, очевидно считал самым надёжным помещать деньги в недвижимости. Всего он приобрёл около десяти тысяч десятин. Кроме того, появились дома в Москве: четырёхэтажная контора на Старой площади, на углу Варварки (теперь площадь Ногина и улица Разина), доходный дом на Немецком рынке (улица Баумана), торговый дом на Воздвиженке (улица Калинина) около Арбатской площади.
Дома в Пушкине размножались почкованием, прирастая в линию к дому главы семьи. Число их достигало четырёх. Все они соединялись крытыми переходами.
Евгений Иванович был женат на польке — Марии Францевне Пашковской. Это была хрупкая женщина, строгого и скромного нрава. Она имела привычку ходить в монашеском платье. Вопреки своему положению — жены фабриканта и помещика, она была широко образованная, училась во Франции живописи и очень недурно рисовала. Во Франции она не раз писала развалины замков и очень их любила. Евгений Иванович, чтобы доставить ей удовольствие, выстроил в парке готовые руины. Местные жители верили, что там водятся привидения, и обходили их стороной.
Мария Францевна была сердобольна, особенно жалела и постоянно прикармливала воробьёв. Она родила Евгению Ивановичу трёх сыновей: Евгения, Адольфа и Эмилия. Всем сыновьям отец подарил по дому на территории Пушкинской фабрики.
Дочь от второго брака — Софья Ивановна вышла замуж за шведа — Иосифа Хёкке. Откуда в Москве взялся швед, неизвестно. По слухам он происходил от мастера кораблестроителя, выписанного Петром Первым. Вероятно, это и было так, но всё-таки дело тёмное. Так или иначе, у них тоже было трое детей: старшая — Мария Осиповна, средняя — Софья Осиповна, лет на двенадцать её моложе, и младший сын Александр. Их родители умерли, когда старшей Марии Осиповне было всего 15 лет. Опекуном и покровителем их был назначен сводный дядя — Евгений Иванович. Он поселил детей в своей конторе на Старой площади и нанял для воспитания гувернантку.
Мария Осиповна была выдающейся музыкантшей, ученицей Николая Рубинштейна. Рубинштейн всячески поощрял её давать концерты, но она была так скромна и застенчива, что не решалась даже играть перед родными, не только что перед публикой.
