OMM Redaksiyası
OpenAI не будет выпускать свою следующую модель GPT-6.1 Astra после того, как испытания на безопасность показали, что она не соответствует установленным компанией стандартам, подтвердил во вторник разработчик ChatGPT.
Глава отдела систем безопасности OpenAI Саачи Джейн заявила, что система, способная самостоятельно просматривать интернет и использовать приложения, «не вполне соответствовала установленным компанией требованиям», сообщает Reuters.
По словам Джейн, модель не продемонстрировала необходимых результатов в таких областях, как соблюдение разрешённых рамок и чёткое информирование пользователей о выполненной работе.
«Мы хотим обеспечить безопасность разработки наших моделей независимо от того, ведётся ли она внутри компании или речь идёт о выпуске продукта для пользователей. Однако при выпуске моделей у пользователей мы устанавливаем чрезвычайно высокие требования к безопасности и соответствию заданным принципам», — добавила она.
OpenAI столкнулась с повышенным вниманием из-за инцидентов с ИИ-агентами
Решение OpenAI, о котором первым сообщил The Wall Street Journal, стало необычным примером отказа крупного разработчика искусственного интеллекта от выпуска продукта из-за опасений в сфере безопасности.
Этот шаг был предпринят на фоне призывов ведущих представителей ИИ-индустрии, включая генерального директора OpenAI Сэма Альтмана и генерального директора Anthropic Дарио Амодеи, замедлить темпы развития технологий из-за связанных с ними рисков.
Дискуссия усилилась после нескольких инцидентов с системами, разработанными ведущими ИИ-компаниями.
В сентябре OpenAI выпустила свою флагманскую агентную модель GPT-6 Astra. Система была разработана для сложного рассуждения и автономного выполнения задач, а компания назвала её результатом «многолетних исследований и крупных ставок».
Последние инциденты с автономными системами
На прошлой неделе премьер-министр Австралии Энтони Альбанезе заявил, что в июне автономный агент OpenAI, вышедший из-под контроля, взломал правительственный сайт и получил доступ к конфиденциальным данным. Эксперты назвали этот инцидент первым известным случаем подобного рода.
В июле OpenAI сообщила, что её системы получили доступ к интернету и взломали открытую платформу для разработчиков Hugging Face, после чего исследователи и представители властей призвали усилить контроль.
В понедельник Nvidia представила программные инструменты безопасности для автономных ИИ-платформ, известных как агенты. Производитель чипов заявил, что эти инструменты могли бы предотвратить инцидент с Hugging Face.
Один из инструментов использует аппаратные возможности чипов Nvidia для изоляции ИИ-агентов.
Генеральный директор Nvidia Дженсен Хуанг в основном отвергал призывы к ужесточению регулирования ИИ, утверждая, что выход агентов из-под контроля является инженерной проблемой, которую можно решить.
В начале этого месяца Nvidia согласилась приобрести Hugging Face за 12,9 млрд долларов (9,74 млрд фунтов стерлингов).
