В 1934 году арестован по «делу славистов». 17 апреля 1934 года сослан в Вятку, где отбывал ссылку до 1 мая 1936 года. Освобождён досрочно по ходатайству пушкинистов для подготовки к юбилею 1937 года. С мая 1936 года Виноградов был прописан под «минусом» в Можайске, фактически нелегально живя в Москве у жены и получив даже возможность преподавать (в конце 1938 года уволен по новым обвинениям). Прописку в Москве получил в марте 1939 года, на другой же день после письменного обращения к И. В. Сталину (лично Виноградов и Сталин никогда не общались).
После начала войны выслан в Тобольск (7 августа 1941 года), где пребывал до 2 июня 1943 года. В 1943 году с него сняли судимость.
В эти годы В. В. Виноградов преподавал в Тобольском учительском институте, продолжая исследования в области стилистики, фразеологии и типологии произведений отечественной литературы. Сохранилось много записей по истории отдельных слов на мелких листках.