Родился 7 октября 1949 года в селе Глебово Рязанской области. Окончил Московское высшее общевойсковое командное училище (1971), Академию им. М. В.Фрунзе (1979), Академию Генштаба (1993, все — с золотой медалью).
Командовал взводом, ротой, батальоном в Группе советских войск в Германии. С 1979 года в Забайкальском военном округе: начальник штаба, командир полка, затем начальник штаба, командир мотострелковой дивизии. С 1993 года начальник штаба Объединенной группировки российских войск в Таджикистане, затем начальник штаба 11-й гвардейской отдельной общевойсковой армии (Калининград). С 1996 года командующий 2-й гвардейской танковой армией (Самара) Приволжского округа. После расформирования армии с декабря 1997 года стал командующим сухопутными и береговыми войсками Балтийского флота — заместителем командующего Балтийским флотом (группировка сухопутных войск БФ была создана на базе 11-й гвардейской армии, и Николай Макаров стал первым командующим реформированной структуры). С сентября 1999 года начальник штаба Московского военного округа, с декабря 2002 года командующий войсками Сибирского округа. С апреля 2007 года начальник вооружения вооруженных сил РФ — заместитель министра обороны РФ. С 3 июня 2008 года начальник Генерального штаба вооруженных сил РФ — первый заместитель министра обороны РФ, член Совета безопасности РФ.
Генерал армии. Кандидат политических наук (тема диссертации "Политический экстремизм как радикальная модель политического процесса и организация государственного противодействия экстремизму"). Награжден орденами Святого Георгия 2-й степени, "За заслуги перед Отечеством" 4-й степени, "За военные заслуги", "За службу родине в вооруженных силах СССР" 3-й степени, медалями.