На першому поверсі розташовувалися музичний салон, театральний зал та ресторан. На другому — кімнати для куріння та зали для азартних ігор. Поруч із будівлею був парк. Там любили прогулюватися люди «з вищого світу».
На сцені Дворянського зібрання виступали відомі співаки: Федір Шаляпін, Сергій Лемешев, Леонід Собінов, Олексій Алчевський, а також - солісти Міланської опери.
Із січня 39-го року в цьому будинку розмістилася Філармонія. На початку 2000-х тут зробили капітальний ремонт та перенесли орган із Троїцького Собору.
На сьогодні філармонія провідний обласний заклад культури Сумщини з концертною залою на 370 місць.