Во время «Большого террора» 1937—1938 годов Вышинский и нарком внутренних дел Н. Ежов входили в состав Комиссии НКВД СССР и прокурора Союза ССР (так называемой «верховной двойки»[источник не указан 51 день]), которая рассматривала во внесудебном порядке дела о шпионаже в рамках национальных операций НКВД. На практике в центральный аппарат НКВД СССР

На политических процессах 1930-годов обвинительные речи Вышинского отличались особой грубостью, были наполнены резкими высказываниями, оскорбляющими честь и достоинство подсудимых — самооговоры обвиняемых, получаемые под психологическим и физическим воздействием (пытками).

Вся наша страна, от малого до старого, ждёт и требует одного: изменников и шпионов, продавших врагу нашу Родину, расстрелять как поганых псов!…Пройдёт время. Могилы ненавистных изменников зарастут бурьяном и чертополохом, покрытые вечным презрением честных советских людей, всего советского народа. А над нами, над нашей счастливой страной, по-прежнему ясно и радостно будет сверкать своими светлыми лучами наше солнце. Мы, наш народ, будем по-прежнему шагать по очищенной от последней нечисти и мерзости прошлого дороге, во главе с нашим любимым вождём и учителем — великим Сталиным — вперёд и вперёд к коммунизму!

Переводчик В. М. Бережков в своей книге писал:
Вышинский был известен своей грубостью с подчинёнными, способностью наводить страх на окружающих. Но перед высшим начальством держался подобострастно, угодливо. Даже в приёмную наркома он входил как воплощение скромности. Видимо, из-за своего меньшевистского прошлого Вышинский особенно боялся Берии и Деканозова, последний даже при людях называл его не иначе как «этот меньшевик»… Тем больший страх испытывал Вышинский в присутствии Сталина и Молотова. Когда те его вызывали, он входил к ним пригнувшись, как-то бочком, с заискивающей ухмылкой, топорщившей его рыжеватые усики.[17]