Обыкновенно принято говорить, что Общество очень многим обязано Д.В. Григоровичу, особенно собранием его стараниями музея, который он подарил Обществу. Но он и не думал его дарить. Вещи, что собирал он, собирал не для себя, а для музея Общества — иначе ему бы их не дарили, или не "приносили в дар", как это принято говорить. Я Григоровича очень любил, был с ним близок, он и обедал у меня, и частенько заезжал по воскресеньям, но не могу же я не сознаться, что заслуги его по формированию музея — преувеличены. Он составлен далеко не научно. Это какая-то археологическая лавочка, где свален всякий хлам. При помощи вел. кн. Марии Николаевны и гр. Строганова он собрал коллекцию совершенно случайных, на две трети никуда ненужных вещей. Принимал участие в этом и М.П. Балашев, наследник миллионов Паскевича.
Каталог музея, составленный и изданный в 1904 году М.П. Боткиным, верх неряшества и безграмотности. Хорошо отпечатанный у Вильборга и Голике, снабженный автотипиями, он представляет собою макулатуру, совершенно негодную для обращения в публике. На множестве предметов в каталоге не обозначено главного: какого века его производство.
Самое помещение Общества (дом, выходящий одним фасадом на Б. Морскую, другим — на Мойку) перестроен из дома обер-полицеймейстера и очень плохо приспособлен к требованиям музея и школы.
Перестройка здания из полицейского помещения в художественное совершалась вне всяких пожарных правил. Никакими пожарными предохранительными предметами музей обеспечен не был. Единственная лестница, которая вела в верхний этаж, где находились выставочные залы и где нередко собиралось несколько сот человек, была деревянная и в случае пожара представляла смертоносную западню. Вентиляция была самая примитивная, и на аукционах публика задыхалась в душной зале. Течь с крыш портила предметы и в музее, и в выставочной зале.
Процветание всякого дела зависит от человека, стоящего во главе его. Пока во главе рисовальной школы Общества стоял Яковлев, она процветала. В этой школе получали подготовку для поступления в Академию художники, составившие потом всемирную известность. Когда директором школы стал Сабанеев, она утратила свое значение.