Родился 19 апреля 1939 года в станице Драбово (Украина). В 1960 году окончил Львовский политехнический институт, в 1979 году — Академию общественных наук при ЦК КПСС.
С 1960 года работал на Сумском регенератном заводе (Украина), прошел путь от инженера до директора. С 1973 года — на партийной работе в Сумской области, замзавотделом химической промышленности ЦК КПСС. В 1980-1981 годах работал в Афганистане как советник от КПСС. В 1986-1989 годах — министр по производству минудобрений СССР, был депутатом Верховного совета СССР. В 1990 году возглавил правление государственной агрохимической ассоциации "Агрохим". С 1992 года — президент компании "Росагрохим". Также возглавлял Союз производителей и экспортеров агрохимической продукции, входил в совет по аграрной политике при правительстве РФ. С 1998 года — глава совета директоров ОАО "Минудобрения" (Россошь, Воронежская область). В 1999, 2003 и 2007 годах избирался в Госдуму (фракция "Единая Россия"). Считался одним из главных инвесторов партии. В апреле 2010 года выдвинут Воронежской облдумой в Совет федерации, но не попал в палату из-за "ценза оседлости". В январе 2011 года стал сенатором, для чего получил мандат депутата Россошанского райсовета.
До 2011 года считался основным владельцем ОАО "Минудобрения", пока компанию не приобрели структуры Аркадия Ротенберга. Основными его активами в Воронежской области назывались ООО "Восток-агро" (оборот в 2011 году — около 600 млн руб.) и ООО "Агрофирма "Тихий Дон"" (оборот в 2011 году — 60 млн руб.). В 2012 году СМИ сообщали о его новом проекте в АПК — молочном комплексе на 2,2 тыс. голов в Воронежской области. По данным ЕГРЮЛа, был также соучредителем ЗАО "Агротехнология", ЗАО "Агротемп", ЗАО "Флорахим", ЗАО "Прогрессивные азотные технологии "Азот прогресс"". По данным декларации за 2011 год, доход господина Ольшанского составил 12,99 млн руб., а его супруги — 561,3 млн руб. При этом в 2012 году журнал Forbes оценил состояние сенатора в $750 млн (132-е место в России).
Награжден двумя орденами Трудового Красного Знамени, орденом "Знак Почета".