Первоначально, название улицы было Каравайная, но после, она стала называться Караванной. Свое название улица получила из-за расположенного на ней караван-сарая, в котором проживали персы и индусы, ухаживающие за слонами, которые были подарены персидским шахом и содержались при царском дворе в 18 веке. Длина улицы менее 500 метров. Она соединяет собой Невский проспект и площадь Белинского.
Свое наименование она носила более 100 лет. Лишь после Октябрьской революции улица получила название Толмачева – коммуниста, убитого в борьбе с белогвардейцами в годы Гражданской войны. Лишь в 1991 году, улица вновь стала называться Караванной.
Многие здания, находящиеся на этой улице, были возведены в 19 веке. Благодаря тому, что для их строительства использовался гранит, они до сих пор находятся в отличном состоянии. Именно на этой улице расположено здание Дома кино, в котором, до начала 20 века находилось губернское сообщество. Рядом с домом кино расположен отель «Поликофф».
На этой улице проживали многие известные люди. Например, Глинка, Достоевский. Упоминалась она в произведениях Лермонтова и Крестовского. С историей улице связано немало интересных событий, которые вошли в историю города.