Родился 8 января 1962 года в поселке Холмский Абинского района Краснодарского края. В 1984 году окончил Ленинградский институт советской торговли (учетно-экономический факультет, с красным дипломом), в 2001 году — Санкт-Петербургский госуниверситет (вечернее отделение юридического факультета).
В 1984-1985 годах служил в армии, где окончил офицерские курсы. С 1985 года — заместитель заведующего, заведующий секцией магазина N3 "Ленмебельторга" (Ленинград). С 1991 года — заместитель директора по коммерческой работе "Ленмебельторга". После преобразования предприятия в АО "Мебель-Маркет" — заместитель директора, директор по маркетингу, гендиректор. В октябре 2000 года назначен заместителем руководителя межрайонной инспекции (управления) Министерства по налогам и сборам (МНС) по работе с крупнейшими налогоплательщиками Санкт-Петербурга. С июня 2001 года — заместитель руководителя управления МНС по Санкт-Петербургу (управление возглавлял Виктор Зубков, впоследствии ставший главой правительства РФ). В ноябре 2001 года господин Сердюков сменил господина Зубкова на посту главы петербургского управления МНС. С февраля 2004 года руководил управлением МНС по Москве. С марта 2004 года — замминистра по налогам и сборам, с 14 марта — и. о. министра. С июля 2004 года — руководитель Федеральной налоговой службы (входит в структуру Министерства финансов). На этом посту, в частности, занимался налоговыми претензиями к нефтяной компании ЮКОС.
С 15 февраля 2007 года — министр обороны РФ. С апреля 2007 года одновременно член Совета безопасности РФ. В сентябре 2007 года, после назначения своего тестя Виктора Зубкова премьер-министром РФ, подал в отставку с поста министра, однако соответствующий рапорт отклонен президентом РФ Владимиром Путиным. 12 мая 2008 года и 21 мая 2012 года был переназначен главой военного ведомства.
Доктор экономических наук (тема диссертации — "Формирование и реализация налоговой политики современной России"). Жена Юлия — дочь спецпредставителя президента РФ по взаимодействию с Форумом стран--экспортеров газа Виктора Зубкова.