Яков Пушников и его братья Митрофан и Иван имели славу богатых промышленников в Нижнем Новгороде, так как имели кожевенное производство. Строения из дерева, принадлежащие братьям, в конце XVII века дважды горели. Поэтому они начали строительство зданий из белого камня на улице Гоголя. Недалеко от Сергиевской церкви.
Построенные тогда сооружения стоят в городе до сих пор. Брат Иван умер в 1967 году, брат Митрофан уехал торговать в Москву с крупной партией товара, поэтому строительство палат полностью легло на плечи брата Якова. Оно завершилось лишь в 1698 году. К старому каменному корпусу было пристроено новое двухэтажное здание, а рядом расположились производственные помещения из дерева.
Поэтому взглянув на здание можно увидеть два отдельных корпуса: одноэтажный флигель и двухэтажное здание. В 1917 году оно было национализировано и в нем расположилась коммуналка. Очень долго дом не ремонтировали и он находился в удручающем состоянии.
Восстановлены палаты под руководством архитектора В. Чащина. Сегодня являются объектом культурного наследия.