В 1961 году в 37 лет он стал председателем КГБ. До этого, как положено, прошел большой комсомольский путь: в 22 года был секретарем ЦК ЛКСМ Украины, в 26 — первым секретарем ЦК ВЛКСМ. Руководить госбезопасностью стал в разгар хрущевской эпохи, соответственно, после свержения Никиты Хрущева в рамках борьбы с последствиями волюнтаризма был отправлен в отставку в звании генерал-полковника. Его терпели лишь до 1967 года, хотя по происхождению (он родился 15 января 1924 года в селе Григорьевка Межевского района Днепропетровской области) он мог бы вполне вписаться в брежневскую команду. Дорабатывал в скромной должности заместителя председателя Совета министров Украины.
В последние годы жил на маленькой подмосковной даче без телефона. В одном из недавних интервью сказал, что коммунистическая идеология "для нашего народа наиболее подходит".