Gemini в ходе теста кибербезопасности получил доступ к системам трёх компаний

Модель искусственного интеллекта «Gemini» компании «Google» получила доступ к системам трёх компаний в ходе тестирования кибербезопасности. Это считается первым известным случаем, когда система искусственного интеллекта компании автономно осуществила подобные действия.

Инциденты произошли в мае во время оценки, проведённой независимой компанией «Irregular», тестирующей системы искусственного интеллекта. По словам вице-президента «Google» по вопросам безопасности Хизер Адкинс, «Gemini» обнаружила опубликованные в интернете сведения и угадала данные, открывавшие доступ к трём веб-сайтам, которые, как предполагала модель, входили в тестовый контур.

В одном случае модель подбирала пароли, пока не получила доступ к защищённой системе. В двух других случаях она обнаружила учётные данные, размещённые в открытом репозитории, и получила доступ к защищённым системам. Адкинс заявила, что во всех трёх случаях «Gemini» прекратила хакерские действия.

«Google» уведомила об инцидентах три компании и совместно с партнёром по обучению внесла изменения в процесс тестирования. Адкинс отметила, что эти случаи демонстрируют важность обучения, необходимого для ответственного поведения мощных моделей искусственного интеллекта.

Представитель компании «Irregular» заявил, что проблема затронула и другие компании, занимающиеся искусственным интеллектом. Соответствующие компании были уведомлены в конце июля; сообщается, что все выявленные проблемы устранены.

Аналогичные случаи, связанные с «Irregular», также раскрыли компании «Meta», «Anthropic» и «OpenAI». В августе «Meta» заявила, что в одном из инцидентов не было ни выхода за пределы среды sandbox, ни сложной кибератаки.

Эти инциденты вызвали вопросы о том, какие меры безопасности необходимы по мере того, как агенты искусственного интеллекта становятся более автономными и получают доступ к интернету и компьютерным системам. «Irregular» сообщила, что работает над передовыми практиками для безопасного проведения оценок кибербезопасности систем искусственного интеллекта.

Инцидент подчёркивает необходимость ограничивать полномочия автономных ИИ-агентов, контролировать их доступ к учётным данным и вести постоянный мониторинг их действий. Такие меры рассматриваются как важная часть безопасного внедрения технологий искусственного интеллекта в цифровую инфраструктуру.