Родился 2 марта 1952 года в Порт-Артуре (Китай). Окончил Высшее политическое училище МВД СССР (1973), Военно-политическую академию (1981), Финансовую академию (2002). Служил во внутренних войсках, затем преподавал в Высшем политическом училище МВД, в 1988-1990 годах побывал в горячих точках (Баку, Фергана, Нагорный Карабах, Сухуми). В 1990 году избран народным депутатом, членом Верховного совета РСФСР, возглавлял комитет по вопросам обороны и безопасности. В августе 1991 года возглавил комиссию по расследованию деятельности КГБ во время ГКЧП. С 1991 года — начальник управления Агентства федеральной безопасности по Петербургу и Ленинградской области, затем — замминистра безопасности РФ. С 1993 года — первый замдиректора, с 1994 года — директор Федеральной службы контрразведки, затем Федеральной службы безопасности. В июне 1995 года ушел в отставку в звании генерал-лейтенанта. В ноябре того же года возглавил административный департамент аппарата правительства, курировал деятельность силовых структур. В июле 1997 года занял пост министра юстиции. В апреле 1998 года назначен министром внутренних дел. С апреля 1999 года — первый вице-премьер, с мая по август — премьер-министр РФ. В декабре 1999 года избран депутатом Госдумы по 209-му Северному округу Санкт-Петербурга. Входил во фракцию партии "Яблоко", возглавлял комиссию по борьбе с коррупцией. С 19 апреля 2000 года — председатель Счетной палаты РФ.
Доктор юридических наук (тема диссертации "Теоретико-правовые аспекты обеспечения безопасности РФ"), кандидат исторических наук, профессор. Генерал-полковник. Награжден орденами "За заслуги перед Отечеством" II, III и IV степеней, орденом Мужества, другими российскими и зарубежными наградами. Владеет английским языком. Женат, сын.