Родился 19 ноября 1934 года в Москве. Окончил Смоленский государственный институт физической культуры (1973). После школы поступил слесарем-сборщиком в Центральный институт авиационных моторов, играл за команду института и юношескую команду «Крыльев Советов». В 1952 году после спортивных сборов был приглашен в московское «Торпедо», в 1953 году попал в основной состав команды.
Выступая за автозаводцев в качестве нападающего, сыграл 287 матчей и забил 124 гола. Стал обладателем Кубка СССР 1960 года, чемпионом СССР 1960 и 1965 годов. За сборную СССР провел 59 матчей, в которых забил 26 голов. В 1956 году стал победителем Олимпиады в Мельбурне, в 1960-м — Кубка Европы.
В 1967 году завершил карьеру игрока и стал главным тренером «Торпедо». Под его руководством команда стала чемпионом СССР (1976) и трехкратным обладателем Кубка СССР (1968, 1972, 1986). В 1992 году после конфликта с игроками команды покинул пост и возглавил марокканский клуб «Ража Касабланка», в 1993 году — московский «Асмарал». В сентябре 1993 года вернулся в «Торпедо», в котором работал как тренер до 1998 года, затем был избран почетным президентом клуба «Торпедо-Лужники». В 2003 году работал главным тренером клуба «Торпедо-ЗИЛ». В 2003-2004 годах — председатель тренерского совета «Торпедо-Металлург».
Награжден орденом «Знак почета» (1960) и орденом Почета (1997), многими государственными медалями, а также Рубиновым орденом UEFA «За заслуги» (2004). Вдова Лидия Иванова — двукратная олимпийская чемпионка по спортивной гимнастике. Сын Валентин Иванов — футбольный арбитр международной категории. Дочь Ольга Старикова — бывшая солистка балета Большого театра.