В 1950–1960 годах, когда первые компьютеры начали появляться в крупных компаниях, ученые пытались моделировать строение мозга с помощью алгоритмов искусственного интеллекта (ИИ). Но всерьез о возможностях ИИ заговорили только ближе к концу XX века, когда Гарри Каспаров в 1997 году проиграл в шахматы суперкомпьютеру IBM Big Blue.
Нейроморфная платформа Pohoiki Springs со 100 млн нейронов
Фото: Walden Kirsch / Intel Corporation
Нейроморфная платформа Pohoiki Springs со 100 млн нейронов
Фото: Walden Kirsch / Intel Corporation
Существенные изменения произошли в 2010-х годах, когда ИИ на базе нейронных сетей обучили делать выводы на основе анализа данных после предварительной «тренировки». Сегодня такие системы применяются, например, для подсчета пассажиров в автобусе или фиксации номера автомобиля нарушителя ПДД. Даже смартфоны со временем обзавелись ИИ — например, для обработки изображений или видео.
Согласно прогнозам компании IDC, выручка глобального рынка технологий ИИ, включая программы, оборудование и услуги, по итогам 2021 года достигнет $327,5 млрд, и уже в 2024 году превысит $500 млрд. В России аналитики IDC оценили рынок ИИ по итогам 2020 года в $291 млн.
Современные технологии ИИ прогрессируют с большой скоростью, но все еще значительно уступают «естественному» интеллекту: человеческий мозг универсальнее, лучше обучаем, более гибок в анализе и принятии решений на основе разрозненной и неполной информации, к тому же потребляет значительно меньше энергии.
Следующее поколение технологий ИИ, над которым, в частности, работают в Intel Labs (научно-исследовательское подразделение компании, которое изучает перспективные идеи работы с данными), будет использовать алгоритмы, более точно имитирующие работу биологического мозга, в том числе в части интерпретации (трактовки в правильном контексте) и автономной адаптации (улучшенное представление данных без взаимодействия с внешней средой) для реагирования на непредвиденные ситуации и различные абстракции.
Нейроморфные вычисления на основе цифровых нейронов, применяемые для этих целей, довольно точно моделируют поведение своих биологических аналогов. Вместе с вероятностными алгоритмами обработки неопределенных и противоречивых данных они являются одним из наиболее перспективных вариантов развития ИИ. Сегодня нейроморфные вычисления все еще на стадии исследований, однако им предсказывают большое будущее. Например, по прогнозу i-Micronews, только в США этот рынок ожидает рост с $69 млн в 2024 году до $5 млрд в 2029 году и $21,3 млрд к 2034 году.
Механизм работы нейроморфных вычислений
Компактная нейроморфная USB-система Kapoho Bay с 262 тыс. нейронов
Фото: Walden Kirsch / Intel Corporation
Компактная нейроморфная USB-система Kapoho Bay с 262 тыс. нейронов
Фото: Walden Kirsch / Intel Corporation
Сегодня для ускорения работы ИИ используются отдельные микросхемы или модули процессоров, чипы для глубокого машинного обучения или отдельных функций — например, для машинного зрения, а также видеокарты, архитектура которых, в частности, справляется с параллельными вычислениями лучше центральных процессоров.
Все эти примеры далеки от нейроморфных вычислений, поскольку построены на традиционной последовательной вычислительной архитектуре фон Неймана с разделенным процессором и памятью. Нейроны мозга, в свою очередь, способны и хранить, и обрабатывать информацию.
Нейроморфные процессоры, создаваемые на стыке биологии, физики, математики, информатики и полупроводникового производства, строятся из привычных транзисторов, но с иной организацией архитектуры, подобно строению нейронов биологического мозга. По аналогии с биологическим образцом искусственный нейрон имеет один выход (аксон), сигнал с которого может поступать на большое количество входов других нейронов и тем самым изменять их состояние.
Искусственные нейроны объединяются по модели импульсных нейронных (спайковых) сетей (Spiking neural network, SNN), особенностью которых является передача данных с помощью разнесенных по времени коротких импульсов равной амплитуды, а не за счет меняющихся по времени значений, как в нейросетях предыдущих поколений. Благодаря кодированию данных импульсами и временными промежутками между ними импульсные нейросети моделируют естественные процессы передачи сигналов, которые также управляют процессами обучения с динамическим переназначением синапсов между нейронами в ответ на стимулы.
Модель мозга
Нейроморфные (от греческого νεῦϱον — волокно, нерв, и μοϱφή — форма) вычисления используют архитектуры нейронных сетей, которые по аналогии с биологическими нервными клетками мозга — нейронами обмениваются информацией с тысячами других нейронов с помощью синапсов.Число нейронов не является метрикой таких характеристик, как производительность и «разумность» мозга, они в большей степени зависят от его организации (архитектуры). Например, у свиней и собак — более 2 млрд, а у медведя — около 10 млрд нейронов.Мозг взрослого человека содержит более 85 млрд нейронов, в коре головного мозга, которая отвечает за сознание и интеллект, находится порядка 20% от всех нейронов. Для моделирования работы отдельных функций нейроморфному процессору достаточно значительно меньшего числа нейронов, чем для полной модели мозга.
Нейросеть класса SNN обеспечивает крайне высокую скорость и производительность, а ее структура может обучаться непосредственно во время работы. Она может обрабатывать динамические задачи — например, распознавать запахи, речь или изображения в видеоряде. Многозадачность спайковых нейронных сетей позволяет обучать группы нейронов для решения различных проблем и осуществлять распознавание с предсказанием по неполным данным.
В настоящее время изучением вопросов применения импульсных нейросетей для моделирования функций мозга занимается множество научных групп и компаний во всем мире. Корпорация Intel вместе с экосистемой партнеров решает задачи в области нейроморфных вычислений комплексно — от фундаментальных теоретических разработок и создания алгоритмов до разработки и производства нейроморфных процессоров.
Искусственный нюх
Еще в сентябре 2017 года Intel Labs представила самообучающийся нейроморфный процессор Loihi первого поколения, предназначенный для изучения функциональных возможностей спайковых нейронных сетей и имитации адаптивного поведения мозга, с возможностью масштабирования решений от двух и более процессоров на одной плате. Кристалл Loihi первого поколения размером всего 60 кв. мм обладает 128 ядрами (по 1024 нейрона в каждом), обеспечивая в общей сложности примерно 130 тыс. нейронов и около 130 млн синапсов. В каждое из 128 ядер встроен механизм обучения, схожий с моделями пластичности мозга.
Архитектура Loihi обеспечивает быструю обработку сигналов в реальном времени с возможностью обучения и адаптации. Так, при обучении нейронной сети Loihi запахам требуется примерно в 3 тыс. раз меньше данных, нежели для процессоров общего назначения для сравнимой производительности обучения. Оптимизация такой сети требует примерно в 1 тыс. раз меньше энергии по сравнению с традиционной системой сравнимой мощности.
Самым доступным решением является USB-устройство Kapoho Bay с двумя процессорами Loihi. Исследователи также используют систему Pohoiki Beach на 64 чипах Loihi с эквивалентом 8 млн нейронов и платформу Pohoiki Springs на 768 чипах Loihi с эквивалентом порядка 100 млн нейронов, что уже сравнимо с мозгом мелкого млекопитающего.
Осенью 2021 года Intel объявила о дальнейшем развитии нейроморфных технологий и представила процессор нового поколения Loihi 2, а также среду программирования Lava с открытым исходным кодом для разработки нейроморфных приложений.
Число искусственных нейронов в Loihi 2 увеличилось по сравнению с первым поколением сразу в 8 раз — до 1 млн, при этом физический размер кристалла, напротив, уменьшился почти в два раза, до 31 кв. мм.
Ранние сравнения Loihi 2 с предыдущим поколением показали прирост скорости обработки данных до 10 раз, а также до 15 раз более плотную концентрацию ресурсов с большей экономией энергии. В Intel также подчеркивают, что нейроморфные сети Loihi 2 работают до 5 тыс. раз быстрее, чем биологические нейроны.
В последние годы исследователи отмечали, что нейроморфное оборудование опережает прогресс в программной области, особенно в части алгоритмов. Открытая модульная среда разработки Lava призвана устранить эти противоречия и унифицировать программный стек — особенно с учетом близкой перспективы появления коммерческих нейроморфных продуктов.
Lava поддерживает широкий спектр традиционных и нейроморфных процессоров, предоставляет разработчикам совместное использование общих инструментов и библиотек, возможность взаимного обмена накопленным опытом.
Возможности нейроморфных вычислений сегодня
Исследовательский процессор нового поколения Loihi 2
Фото: Walden Kirsch / Intel Corporation
Исследовательский процессор нового поколения Loihi 2
Фото: Walden Kirsch / Intel Corporation
Самая простая USB-система Intel Kapoho Bay с двумя процессорами Loihi содержит 262 тыс. нейронов, но этого вполне достаточно для системы распознавания жестов, чтения шрифта Брайля с использованием искусственной кожи, ориентирования на местности по запомненным визуальным ориентирам, изучения новых запахов и для решения других задач. Небольшая система Oheo Gulch на базе одного Loihi 2 предоставляет уже 1 млн нейронов.
Для отдельных функций вполне достаточно компактного решения на нескольких чипах Loihi, а Pohoiki Springs с 100 млн нейронов уже позволяет моделировать автономную многозадачную работу мозга для нахождения оптимальных решений масштабных задач.
Нейроморфные системы с производительностью уровня Pohoiki Beach имеют шансы стать оптимальным вариантом для решения специализированных задач, где современные процессоры не могут обеспечить требуемый уровень производительности с разумным уровнем расхода энергии. Среди таких задач, например, процессы, связанные с работой автономного транспорта или функционированием устройств «умного дома».
Одной из наиболее наглядных демонстраций возможностей нейроморфных вычислений стала совместная публикация исследователей из Intel Labs и Корнельского университета в журнале Nature Machine Intelligence, где они поделились опытом использования процессоров Intel Loihi для имитации системы обоняния человека. Исследователи научили предварительно натренированный Loihi точно и с первого раза распознавать до 10 видов запахов вредных веществ, включая ацетон, аммиак, метан и другие химикаты, используемые при создании наркотических и других подобных веществ. Альтернативам, в том числе с применением ИИ и глубокого обучения, для такого уровня точности требуется в 3 тыс. раз больше выборок для обучения по каждому классу веществ.
Исследователи полагают, что в будущем компактный нейроморфный «электронный нос» может пригодиться медикам для диагностики заболеваний, службам безопасности для обнаружения оружия и различных веществ, полиции и пограничникам для поиска и изъятия наркотиков, и даже в системах «умного дома» для практичных детекторов дыма и угарного газа. Роботы с системой определения запахов помогут сортировать продукты и следить за состоянием окружающей среды.
Схема работы нейроморфных вычислений. Как видно из рисунка, ключевым преимуществом нейроморфных процессоров является возможность искусственных нейронов обучаться «на лету», одновременно передавать, хранить и обрабатывать информацию в одной клетке. Особая архитектура, где каждый нейрон связан синапсами с тысячами других нейронов, позволяет таким процессорам учиться, развиваться и адаптироваться по аналогии с образом мышления человека
Схема работы нейроморфных вычислений. Как видно из рисунка, ключевым преимуществом нейроморфных процессоров является возможность искусственных нейронов обучаться «на лету», одновременно передавать, хранить и обрабатывать информацию в одной клетке. Особая архитектура, где каждый нейрон связан синапсами с тысячами других нейронов, позволяет таким процессорам учиться, развиваться и адаптироваться по аналогии с образом мышления человека
Искусственное прикосновение
Еще один удачный пример на стыке нейроморфных вычислений и биологии продемонстрировала команда ученых из Национального университета Сингапура (NUS). Исследователи создали роботизированную руку с искусственной кожей и датчиками зрения и оснастили ее нейроморфным процессором Loihi. В итоге искусственная рука была обучена обнаруживать прикосновения более чем в 1 тыс. раз оперативнее, чем сенсорная нервная система человека, и определять форму, текстуру и твердость объектов в 10 раз быстрее, чем человеческий глаз.
Решения с искусственной кожей могут внедряться в медицине для автоматизации хирургических задач, на производстве для тактильного распознавания, идентификации и захвата незнакомых предметов с допустимым давлением без скольжения. Способность к быстрой оценке окружающей среды также может помочь повысить безопасность в цехах с совместным присутствием людей и роботов и даже открыть новые горизонты в неизведанных ранее областях — например, в профессиях по уходу за пациентами преклонного возраста.
В этой области уже работает команда исследователей из Accenture Labs, Intel Labs и Открытого университета Израиля. Создаваемый ими роботизированный манипулятор предназначен для инвалидных колясок с адаптивным управлением. Решение задачи возложено на алгоритм компании Applied Brain Research (ABR) и нейроморфное оборудование Intel. Технология поможет людям со специальными потребностями использовать роботизированную руку в повседневной жизни — например, пить из стакана с уменьшением количества ошибок на 50% и повышением энергоэффективности на 48% по сравнению с традиционными методами управления.
Аэрокосмическая компания Airbus совместно с Университетом Кардиффа использует процессор Loihi в проекте совершенствования технологии обнаружения вредоносных программ. В компании полагают, что возможности обучения и масштабирования Loihi в режиме реального времени помогут ускорить обнаружение вредоносного кода при низком энергопотреблении и помогут в борьбе с вымогателями. Также в Airbus изучают возможности применения нейроморфных чипов Intel в сфере удаленного онлайн-обучения. Такой подход сулит ряд новых возможностей, включая адаптивное управление, автономную проверку и возможность совершенствования хранения данных на фоне снижения общих затрат.
Сложности на пути внедрения нейроморфных вычислений
Размер кристалла Loihi 2. Площадь кристалла Loihi 2 с 1 млн нейронов составляет 31 кв. мм
Фото: Walden Kirsch / Intel Corporation
Размер кристалла Loihi 2. Площадь кристалла Loihi 2 с 1 млн нейронов составляет 31 кв. мм
Фото: Walden Kirsch / Intel Corporation
Нейроморфные системы еще проходят эволюционную стадию лабораторных исследований и не ориентированы на замену традиционных компьютеров в коммерческих масштабах. Пока что это в большей степени инструментарий для изучения возможностей нейроморфных вычислений. Переход от традиционной вычислительной архитектуры к нейроморфным системам связан со сложностью создания нейроалгоритмов. Так, в отличие от покадровой обработки видео с традиционной архитектурой, нейроморфный алгоритм рассматривает ее как изменение визуальной информации во времени. В Intel полагают, что после выпуска нейроморфного процессора Loihi 2 и среды разработки Lava для перехода нейроморфных технологий из фазы лабораторных исследований в стадию коммерчески рентабельного производства теперь есть все необходимое — оборудование, платформенно-независимая среда разработки и межгосударственный альянс научных, отраслевых и правительственных кругов. Нейроморфные вычисления — это, по сути, полное переосмысление компьютерной архитектуры с использованием новейших разработок нейробиологии для создания процессоров и систем с функциональностью биологического мозга.
Нейроморфные процессоры представляют собой одну из самых перспективных разработок в области вычислительной техники. Сегодня они лишь формируют новую модель программируемых вычислений, однако предполагается, что уже в ближайшем будущем они не только ускорят выполнение трудоемких вычислительных задач «на лету» с минимальным энергопотреблением, но также откроют человечеству новые гармоничные аспекты цифрового образа жизни, подсмотренные в живой природе.
Со временем нейроморфные процессоры имеют все шансы расширить и дополнить возможности современных процессоров с помощью новых технологий, которые позволят компьютерам будущего функционировать, адаптироваться и обучаться с помощью алгоритмов, напоминающих образ мышления человека.