OMM Redaksiyası
Китайский разработчик искусственного интеллекта Moonshot начал внутреннюю проверку после того, как исследователи убедили две его модели «Kimi» предоставить информацию о создании биологического оружия и проведении убийств, сообщает BBC.
Компания Mindgard, тестирующая безопасность ИИ, заявила, что в июле обнаружила возможность обхода защитных механизмов моделями «Kimi K2.6» и «K3 Swarm». Эти механизмы предназначены для предотвращения обсуждения опасных тем.
Результаты были получены в ходе тестов на «джейлбрейк», при которых исследователи используют сложные последовательности инструкций, чтобы выяснить, можно ли заставить ИИ игнорировать встроенные ограничения безопасности. В Mindgard отметили, что эти механизмы должны были не допустить взаимодействия моделей с подобными запросами.
Moonshot сообщила BBC, что приветствует обратную связь от сторонних организаций «как один из ключевых элементов создания более совершенного и безопасного ИИ» и ведёт переговоры с Mindgard по поводу полученных результатов.
Исследователи предупреждают о более широких рисках
Основатель Mindgard Питер Гарраган назвал результаты вызывающими обеспокоенность. По его словам, после успешного джейлбрейка модели готовы обсуждать практически любую тему и могут давать рекомендации по другим опасным вопросам.
Джейлбрейки создают риски, отличные от тех, что связаны с недавними инцидентами с автономными ИИ-агентами, разработанными американскими компаниями, включая «OpenAI», «Meta» и «Anthropic». Эти системы использовались для взлома некоторых онлайн-сервисов.
Хотя методы джейлбрейка могут быть сложными и требовать много времени, эксперты по безопасности опасаются, что хакеры и другие злоумышленники попытаются использовать их для причинения вреда. Недавно «Anthropic» заявила, что выявила и пресекла попытки использовать одну из её моделей для вредоносной деятельности, которая могла помочь в разработке биологического оружия.
Потенциальная платформа для кибератак
Mindgard не установила, можно ли на практике применить ответы моделей «Kimi» по опасным темам. Однако компания заявила, что защитные механизмы должны были полностью исключить обсуждение этих вопросов.
Компания также сообщила, что уверена: подвергнутая джейлбрейку модель «Kimi K2.6» могла бы позволить хакерам запускать код на вычислительных ресурсах и подключаться к интернету, потенциально превратив её в платформу для кибератак.
Гарраган защитил решение Mindgard обнародовать результаты. По его словам, компания уведомила Moonshot и не раскрыла ключевые технические детали обхода защитных механизмов моделей.
Mindgard уведомила Moonshot по электронной почте 27 июля и примерно через неделю направила повторное сообщение. 12 сентября компания опубликовала запись в блоге по этому вопросу. По утверждению Mindgard, Moonshot связалась с ней лишь недавно — после того, как BBC запросила комментарий.
В электронном письме к Mindgard с просьбой предоставить дополнительную информацию, которым Moonshot поделилась с BBC, разработчик заявил, что в ходе внутренних проверок его модели в целом демонстрировали «высокий уровень отказов от выполнения подобных запросов».
Дискуссия об открытых и закрытых моделях ИИ
Эти результаты появились на фоне продолжающейся дискуссии о том, какой подход безопаснее для развития ИИ: закрытые проприетарные системы, на которых работают «ChatGPT» и «Claude», или модели с открытым исходным кодом.
«Kimi» — это модель с открытыми весами, что теоретически позволяет загрузить её и запустить на собственной вычислительной инфраструктуре пользователя.
Профессор Университета Суррея Алан Вудворд сообщил BBC, что модели с открытым исходным кодом могут попасть в руки злоумышленников, но одновременно способны использоваться для киберзащиты. Он отметил, что «Hugging Face» применяла китайскую модель с открытым исходным кодом для анализа взлома, который позднее, как выяснилось, был осуществлён агентами «OpenAI».
Вудворд заявил, что международное регулирование, вероятно, не будет успевать за развитием ИИ, и призвал уделять больше внимания выявлению и привлечению к ответственности людей, злоупотребляющих этой технологией.
Ситуация подчёркивает, что безопасность ИИ зависит не только от встроенных ограничений, но и от постоянного независимого тестирования. Открытость моделей может способствовать как распространению технологий, так и усилению защитных инструментов, поэтому эксперты считают важными ответственное раскрытие уязвимостей и международное сотрудничество.
