Владимир Рушайло родился 28 июля 1953 года в Моршанске Тамбовской области. Отец Борис Ефимович — политрук в радиотехническом полку; мать Таисия Никитична — ассистент фармацевта. В 1976 году окончил Омскую высшую школу милиции МВД СССР по специальности "правоведение". С 1976 года — сотрудник отдела по борьбе с квартирными кражами 4-го управления МУРа, с 1981 года-- в отделе по раскрытию умышленных убийств МУРа, с 1986 года — в 6-м отделе по борьбе с опасными проявлениями групповой и рецидивной преступности МУРа, с 1988 года — начальник отдела. С 3 марта 1992 года — начальник Московского регионального управления по борьбе с оргпреступностью. С сентября 1996 года — первый замначальника Главного управления по оргпреступности (ГУОП) МВД РФ. 22 октября 1996 года уволен. С декабря 1996 года — советник по юридическим вопросам и безопасности председателя Совета федерации Егора Строева. С мая 1998 года — замминистра внутренних дел (министр — Сергей Степашин). 21 мая 1999 года (после назначения Сергея Степашина премьер-министром) возглавил МВД, 14 июня 1999 года вошел в Совет безопасности, с 20 ноября 1999 года — зампред Федеральной антитеррористической комиссии. С 28 марта 2001 года — секретарь Совбеза, 9 марта 2004 года освобожден от должности.
14 июня 2004 года был назначен исполнительным секретарем СНГ. Широкое освещение получила его работа в качестве главы миссий наблюдателей от СНГ на выборах в странах Содружества. Все проверенные им кампании были признаны легитимными. Только третий тур выборов президента Украины, в котором победил Виктор Ющенко, господин Рушайло назвал недемократическим. В октябре 2007 года в Душанбе на саммите СНГ новым исполнительным секретарем этой организации был назначен директор Службы внешней разведки России Сергей Лебедев.
Генерал-полковник, заслуженный работник МВД. Награжден орденами "Знак почета", "За личное мужество", орденом Русской православной церкви Святого благоверного князя Даниила Московского III степени, медалями "За безупречную службу" трех степеней, наградным оружием. Член совета попечителей Московского английского клуба. Женат, имеет троих сыновей.