OpenAI создала еще одну команду по обеспечению безопасности моделей ИИ
OpenAI создала новую команду, которая будет отвечать за предотвращение релиза моделей искусственного интеллекта, представляющих потенциальную угрозу для человечества, будь то финансовые риски или риски здоровью людей.
Возглавит «команду специалистов по обеспечению готовности» (Preparedness) Александр Мадри, профессор Массачусетского технологического института. Команда была сформирована еще в октябре, но официально о ней OpenAI объявила только сегодня.
Это уже третья команда OpenAI, которая будет отвечать за соответствие выпускаемых компанией моделей ИИ стандартам безопасности. Так, команда безопасных систем (Safety Systems) сосредоточена на предотвращении неправильного использования существующих моделей и продуктов, таких как ChatGPT. А команда сверхсовместимости (Superalignment) работает над выработкой стандартов безопасности для сверхразумных моделей, которые должны появиться «в отдаленном будущем», говорится на сайте OpenAI.
В интервью Bloomberg господин Мадри заявил, что его команда будет ежемесячно отправлять отчеты с анализом разрабатываемых компанией моделей ИИ новому совету по внутренней безопасности. Тот, в свою очередь, будет делиться выводами из этих отчетов с руководством OpenAI и непосредственно с генеральным директором Сэмом Альтманом.
Почему в России пытаются блокировать поисковую программу OpenAI — в материале «Ъ» «И за бот ее бросает».