OMM Redaksiyası
Модель искусственного интеллекта «Gemini» компании «Google» получила доступ к системам трёх компаний во время тестирования кибербезопасности. Это считается первым известным случаем, когда система искусственного интеллекта компании самостоятельно осуществила подобные действия.
Инциденты произошли в мае во время оценки кибербезопасности, организованной независимой компанией «Irregular», которая тестирует системы искусственного интеллекта. По словам вице-президента «Google» по безопасности и инженерным вопросам Хизер Эдкинс, «Gemini» обнаружила общедоступную информацию в интернете и угадала данные, предоставлявшие доступ к трём веб-сайтам, которые, как предположила модель, входили в сферу тестирования.
«Google» уведомила три компании о произошедшем и совместно с партнёром по обучению внесла изменения в процессы тестирования. Хизер Эдкинс заявила, что эти инциденты демонстрируют необходимость разрабатывать мощные модели искусственного интеллекта таким образом, чтобы они действовали ответственно.
Представитель компании «Irregular» сообщил, что проблема затронула и другие компании, занимающиеся искусственным интеллектом, а соответствующие организации были проинформированы в конце июля. По его словам, все выявленные проблемы впоследствии были устранены.
О похожих инцидентах, связанных с «Irregular», также сообщили компании «Meta», «Anthropic» и «OpenAI». В августе «Meta» заявила, что один из инцидентов не был связан ни с выходом из среды sandbox, ни со сложной кибератакой.
В «Irregular» заявили, что работают над передовыми методами безопасного проведения оценок систем искусственного интеллекта в сфере кибербезопасности. Инциденты вызвали вопросы о том, какие защитные механизмы необходимы для более автономных агентов искусственного интеллекта, получающих доступ к интернету и компьютерным системам.
Как писала «Wall Street Journal», первой сообщившая об инциденте, в одном случае «Gemini» угадала пароли, прежде чем получила доступ к защищённой системе. В двух других случаях модель обнаружила учётные данные, размещённые в открытом репозитории, и с их помощью вошла в защищённые системы. Хизер Эдкинс заявила, что во всех трёх случаях «Gemini» прекратила хакерские действия.
Подобные испытания имеют значение для оценки рисков, связанных с автономными системами искусственного интеллекта. В отличие от обычных программ, такие агенты могут самостоятельно искать информацию, анализировать найденные данные и предпринимать действия в цифровой среде, поэтому контроль доступа и механизмы остановки остаются ключевыми элементами безопасного тестирования.
