Первым министром обороны России был Борис Ельцин. 16 марта 1992 года он подписал указ о создании Министерства обороны России и возложил на себя обязанности министра.
18 мая того же года министром был назначен первый замминистра, бывший командующий ВДВ Павел Грачев. Несмотря на обвинения в некомпетентности и коррупции, он руководил армией вплоть до президентских выборов 1996 года. Сразу после первого тура Ельцин сообщил министру о назначении его бывшего подчиненного и оппонента Александра Лебедя секретарем Совета безопасности. В ответ Грачев написал прошение об отставке.
Его преемником в июле 1996 года стал начальник Академии Генштаба Игорь Родионов. Он не продержался и года: Ельцин обвинил его в нежелании проводить военную реформу, назвал "бездельником" и на заседании Совета обороны уволил.