Андрей Козлов родился 6 января 1965 года.
В 1982 году после окончания средней школы поступил в Московский финансовый институт (ныне — Финансовая академия) на факультет "Международные экономические отношения", который окончил в 1989 году. С 1983 по 1985 год проходил срочную службу в Советской Армии.
С августа 1989 года по июль 1990-го Андрей Козлов работал в Валютно-экономическом управлении Госбанка СССР, а затем перешел в отдел ценных бумаг.
С декабря 1991 года возглавил Отдел по операциям с ценными бумагами, а затем Управление ценных бумаг Банка России.
С марта 1995 года стал заместителем председателя Центрального банка РФ, сохранив пост начальника Управления ценных бумаг.