На Ильинской слободе находятся белокаменные древнерусские палаты Афанасия Олисова, построенные ещё в XVII веке. В те времена фамилия Олисова служила для горожан синонимом состоятельности и богатства. Честолюбивый человек Афанасий Олисов в 1666 году стал таможенным главой города. А два года спустя известным поставщиком хлеба в Москву. Когда Олисова назначили доверенным лицом правительства, он поехал в Астрахань, заведовать рыбным и соляным промыслом. Вернувшись в Нижний Новгород, он пробыл дома лишь год, за который успел стать земским старостой.
Затем Олисова вновь назначили управляющим дворцовыми промыслами. Четыре года спустя он увеличил свои владения рядом с Успенской церковью и построил двухэтажные каменные палаты, увидеть которые можно и по сей день. Дом и церковь являются единственными сооружениями, сохранившими каменное и деревянное зодчество.
Внутри палаты были убраны согласно древнерусским традициям жилых домов: в нижней части здания располагались подсобные помещения, на втором этаже — парадные и жилые комнаты. В 1967 году под руководством С. Л. Агафонова дом реставрировали. Сегодня исторический памятник находится в распоряжении епархии.