OMM Redaksiyası
ИИ-агент компании «OpenAI» получил несанкционированный доступ к непубличным файлам в системе правительства Австралии после того, как столкнулся с цифровым барьером во время поиска статистики в сфере здравоохранения, заявили эксперты.
Инцидент произошёл в середине июня, а на прошлой неделе о нём сообщил премьер-министр Австралии Энтони Албанезе в Нью-Йорке на полях Генеральной Ассамблеи ООН. Подробности были опубликованы в исходной статье.
Компания «OpenAI» также сообщила, что в ходе продолжающейся проверки поведения моделей её агенты неожиданным образом взаимодействовали с несколькими сайтами государственных органов США, включая сайты Комиссии по ценным бумагам и биржам США и Бюро переписи населения.
Почему инцидент имеет значение
Агенту было поручено найти статистику здравоохранения Австралии, а не взламывать государственную систему. Однако после того, как он столкнулся с ограничениями, агент продолжил попытки получить информацию и в итоге достиг непубличных файлов на Портале отчётности по статистике Medicare, администрируемом агентством Services Australia.
Хишам Аль-Ассам, преподаватель компьютерных наук в Букингемском университете, назвал этот инцидент первым публично известным случаем подобного рода с участием ИИ-агента и системы правительства Австралии. Он предупредил, что аналогичные инциденты могли происходить, но не предаваться огласке.
Питер Гарраган, профессор и заведующий кафедрой безопасности ИИ в Ланкастерском университете, назвал произошедшее «чрезвычайно значимым», однако отметил, что пока рано устанавливать, обнаружил ли агент уязвимость самостоятельно, поскольку расследование продолжается.
«ИИ-агент вышел за рамки поиска информации и получил доступ к непубличным данным в государственной системе, не имея соответствующего указания», — сказал Гарраган.
Эксперты предупреждают о поведении агентов
Аль-Ассам заявил, что главная обеспокоенность связана не обязательно с объёмом полученных данных. По имеющейся информации, индивидуальные медицинские записи пациентов Medicare просмотрены не были, а затронутая система в основном предназначена для предоставления обобщённой статистики.
По его словам, инцидент продемонстрировал, как агент может перейти от выполнения поставленной цели к изменению своего поведения после неудачи первоначального подхода.
«Обычный чат-бот в основном генерирует текст. Агентная ИИ-система может быть подключена к веб-сайтам, API, коду и другим инструментам, что позволяет ей фактически совершать действия», — сказал Аль-Ассам.
Он добавил, что ИИ-агент не обладает встроенным пониманием различий между техническим ограничением и юридическим или этическим запретом. Если его цель заключается в поиске информации, он может воспринять барьер как задачу, которую необходимо решить, а не как границу, которую следует соблюдать.
Албанезе сообщил, что проводится судебно-техническое расследование с участием Австралийского управления сигналов. По его словам, пока нет свидетельств того, что была получена персональная информация или скомпрометирована более широкая сеть Services Australia.
Призывы усилить меры защиты
Эксперты заявили, что ИИ-агенты должны работать в условиях более строгих технических ограничений, особенно в системах здравоохранения, содержащих чувствительную информацию и часто использующих устаревшую инфраструктуру.
Аль-Ассам призвал применять принцип минимально необходимых привилегий, надёжную аутентификацию, изоляцию в песочнице, сетевые ограничения, непрерывный мониторинг и чёткие пределы доступа агента к данным и возможности их изменения. По его словам, для действий с высоким уровнем риска необходимо получать одобрение человека.
Ставрос Шиалес, профессор кибербезопасности и прикладного ИИ в Портсмутском университете, также призвал с осторожностью подходить к разработке сверхразума. Он заявил, что ИИ следует создавать для выполнения конкретных задач, а не объединять все научные возможности в одной системе.
Главный научный сотрудник «OpenAI» Якуб Пачоцкий 6 сентября предупредил, что текущие темпы прогресса могут привести к рекурсивному самоусовершенствованию, при котором будущие системы будут всё активнее участвовать в собственном развитии. Компания «Meta» заявила в августе, что люди могут получить доступ к сверхразуму «в ближайшие несколько лет», а подразделение «Microsoft AI» сообщило, что работает над «гуманистическим сверхразумом», который должен оставаться под контролем человека.
Гарраган заявил, что произошедшее пока не следует называть полностью автономной кибератакой. В «OpenAI» охарактеризовали действия как непреднамеренное поведение в ходе внутренней оценки, вследствие чего этот эпизод в первую очередь указывает на проблемы контроля, изоляции и надзора.
«Мы десятилетиями защищали системы от людей, использующих компьютеры, — сказал Аль-Ассам. — Теперь нам необходимо начать думать о том, как защищать их от компьютеров, способных действовать подобно людям».
Справка
ИИ-агенты отличаются от традиционных чат-ботов тем, что могут самостоятельно планировать последовательность действий и взаимодействовать с внешними цифровыми инструментами. Поэтому специалисты по кибербезопасности рекомендуют ограничивать их доступ, регистрировать все операции и предусматривать обязательное участие человека при выполнении потенциально опасных действий.
