Анатолий Трофимов родился 14 июля 1940 года в Московской области. В 1966 году окончил 1-й факультет Высшей школы КГБ имени Дзержинского по специальности "правоведение". Служил следователем особого отдела Туркестанского военного округа, старшим следователем по особо важным делам в Среднеазиатском военном округе. С 1971 года — старший следователь УКГБ по Москве и области. Работал начальником 5-го, "диссидентского", отдела, начальником 2-й службы (контрразведка), затем руководителем 3-й службы (борьба с организованной преступностью), замначальника УКГБ. Участвовал в расследовании ряда громких дел: руководителей Елисеевского гастронома, различных диссидентских группировок (в том числе Сергея Ковалева и Натана Щаранского, подольской и кунцевской преступных группировок. В январе 1992 года стал начальником Управления по борьбе с контрабандой и коррупцией Министерства безопасности России. В октябре 1993 года участвовал в аресте Александра Руцкого и Руслана Хасбулатова. С мая 1994 года — замначальника Академии федеральной службы контрразведки, руководил курсами повышения квалификации руководящего состава. 19 января 1995 года назначен заместителем директора ФСК — начальником управления ФСК по Москве и Московской области. Дружил с начальником службы безопасности президента РФ Александром Коржаковым, конфликтовал с мэром Москвы Юрием Лужковым. 20 февраля 1997 года снят с поста начальника УФСБ с мотивировкой "за грубые нарушения, вскрытые проверкой Счетной ]палаты РФ, и упущения в служебной деятельности".