В начале 30-годов, возникла проблема нехватки жилья для рабочего населения. Чтобы её решить, предприятия начали строить дома для своих работников. Строительство Дома грузчиков шло с 1935 по 1937 год. Здесь располагалось управление речного порта, продуктовые магазины, парикмахерская и столовая.
Во время Сталинградской битвы в здании произошел пожар, загорелась крыша и деревянные перекрытия. Восстановление закончилось в 1947 году, дому сохранили его истинный облик.
На сегодняшний день в здании располагаются городские организации, а большую часть занимает гостиница.