Впервые термин "суперкомпьютер" появился в начале 1960-х годов, когда специалисты Иллинойского университета США под руководством доктора Даниэля Слотника предложили идею создания первой в мире параллельной вычислительной системы. Это был значительный рывок в развитии технологии — теперь компьютер мог выполнять несколько задач одновременно, что резко увеличивало его производительность. Проект получил название SOLOMON. Первой ЭВМ, использующей этот принцип, стала ILLIAC IV, созданная группой Слотника и изготовленная в 1965 году компанией Burroughs по заказу NASA. ILLIAC IV выполняла 150 млн операций с плавающей точкой в секунду (150 мегафлопсов). До этого производительность вычислительных систем была ниже 1 мегафлопса.
Сам термин "суперкомпьютер" появился только в 1970-х годах. Во многом это произошло благодаря американцу Сеймуру Крею, который в 1976 году изобрел ставшую популярной первую относительно малогабаритную супер-ЭВМ CRAY-1. Обладавшая производительностью 180 мегафлопсов CRAY-1 была запущена в серию (выпущено более 80 штук) и использовалась в правительственных, промышленных и академических проектах.
В середине 1980-х лидирующие позиции заняли японские производители. В 1985 году системы FACOM VP-400 корпорации Fujitsu и NEC SX-2 компании NEC первыми в мире преодолели рубеж в 1 млрд операций с плавающей точкой в секунду --1,14 гигафлопса и 1,3 гигафлопса соответственно.
К концу 1980-х — началу 1980-х годов на первых местах в рейтингах супер-ЭВМ вновь оказались американские многопроцессорные компьютеры. Так, компания Intel разработала в 1990 году компьютер Intel iPSC/860, состоящий из 128 процессоров суммарной производительностью 2,6 гигафлопса.
Вскоре суперкомпьютер мирового уровня появился и в России — в 1994-м был наконец построен разработанный в Институте точной механики и вычислительной техники под руководством Бориса Бабаяна "Эльбрус-3" (производительностью 1 гигафлопс), который, однако, так и не был отлажен и запущен в серию.
В конце 1990-х компания IBM, стремясь удешевить производство суперкомпьютеров, применила при их разработке так называемую кластерную модель (когда несколько компьютеров соединяются в единую систему). Разрабатываемая с 1996 года кластерная система ASCI Blue (предназначенная для моделирования ядерных взрывов) продемонстрировала в 1998 году рекордный результат — 3 терафлопса (1012 операций в секунду).
В марте 2002 года японская NEC создала Earth Simulator, который занимался мониторингом и прогнозированием климата и атмосферных явлений. Компьютер с производительностью 35,86 терафлопса мгновенно возглавил все рейтинги суперкомпьютеров.
В июне 2008 года введен в строй компьютер Roadrunner, разработанный IBM для исследований в области ядерного вооружения. В ноябре на нем была достигнута производительность в 1,105 петафлопса (1015). С момента создания и до настоящего времени он занимает первое место в рейтинге самых мощных суперкомпьютеров в мире TOP500 Supercomputer Sites.