Раньше Дворец Шереметева завершал перспективу улицы Жуковского ансамблем с барочными воротами, садовым флигелем и гротом. В начале XX века Петербург захлестнула новая волна архитектурных перепланировок, и участок оказался в фокусе общественного внимания. Жуковского предполагалось продлить до Фонтанки и далее возвести мост на Итальянскую улицу, но вместо этого Шереметевы решили возвести на территории усадьбы торговые ряды, а флигель, ворота и грот – снести. Такие решительные меры вызвали возмущение общества. Торговые ряды были созданы в 1914 году инженерами М. В. Красовским и И. В. Экскузовичем. Старый ансамбль был снесён, вместо него на Литейном проспекте появилось два двухэтажных павильона, посреди которых оставался проезд к Фонтанному дому. Комплекс совмещал в себе веяния модерна и классицизма. В 1930-х годах был надстроен пятый этаж. Долгое время в здании находилось Центральное статистическое управление, сегодня – управление по налогам и сборам.