Будущий глава Йемена родился 21 марта 1946 года (по другим данным — 21 марта 1942 года) в бедной семье, принадлежащей к племени хашед, которое исповедует зейдитскую ветвь шиитского ислама. Военную карьеру молодой Али Абдалла Салех начал в 1958 году. После государственного переворота 1962 года перешел на сторону республиканцев и начал борьбу со сторонниками представителя свергнутой королевской династии Хамидаддинов, духовного лидера зейдитов Мухаммада аль-Бадра.
Политическую карьеру молодой военный начал в 1967 году, став одним из основателей леворадикальной Революционно-демократической партии. Стремительный взлет по карьерной лестнице Али Абдалла Салех совершил спустя 11 лет, когда после убийства президента Северного Йемена Ахмеда Хусейна аль-Гашми стал членом временного президентского совета, а затем был назначен президентом страны. Затем он еще дважды — в 1983 и 1988 годах — переизбирался на пост главы Северного Йемена.
В июне 1989 года представители Северного и Южного Йемена начали переговоры об объединении страны, которое состоялось в мае 1990 года. Али Абдалла Салех стал председателем президентского совета нового государства. В 1994 году в Йемене из-за споров вокруг распределения доходов от добычи нефти разразилась гражданская война. 21 мая представители Юга в одностороннем порядке провозгласили независимость и создание Демократической Республики Йемен. В ответ Али Абдалла Салех ввел чрезвычайное положение в стране и в итоге подавил мятеж. В октябре 1994 года был избран парламентом Йемена на пост президента. Победил на всеобщих выборах главы государства в 1999 и 2006 годах, набрав 96,2% и 77,2% голосов соответственно.