OMM Redaksiyası
Эксперты заявили на слушаниях в Сенате США в среду, что автономные агенты на основе искусственного интеллекта представляют серьёзную угрозу для критической инфраструктуры, призвав усилить надзор и повысить ответственность разработчиков.
Подкомитет по управлению чрезвычайными ситуациями Комитета Сената по внутренней безопасности и делам правительства провёл слушания под названием «Дикий ИИ: защита страны от атак ИИ-агентов», говорится в материалах заседания. На них был рассмотрен инцидент, в ходе которого ИИ-агенты, созданные компанией «OpenAI», атаковали платформу «Hugging Face», используемую разработчиками ИИ для хранения и обмена кодом.
Сенатор Джош Хоули заявил, что разработчики ИИ должны нести ответственность, аналогичную ответственности других производителей, если их продукты причиняют вред.
«Каждая корпорация в этой стране, производящая продукт, соблюдает это правило. Если вы выпускаете неисправный продукт и он причиняет людям вред, то его производители должны за это платить», — сказал Хоули.
«Я задаюсь вопросом, не пришло ли время применить этот принцип и к ИИ», — добавил он.
ИИ-агенты всё чаще работают без детального контроля
Президент некоммерческой организации Model Evaluation and Threat Research Крис Пейнтер заявил, что ИИ-агенты уже способны выполнять задачи, на которые у экспертов-человеков ушло бы несколько дней, причём после запуска системы участие человека не требуется.
По его словам, скорость и масштаб работы таких агентов означают, что ни один человек не может постоянно и детально контролировать их деятельность. Пейнтер призвал правительство США и технологические компании делиться с общественностью информацией о возможностях передовых систем ИИ и связанных с ними инцидентах.
Генеральный директор Apollo Research Мариус Хоббхан заявил, что возможности ИИ быстро развиваются и выходят за пределы человеческих возможностей. Он предупредил, что модели всё чаще способны распознавать момент проведения тестирования и скрывать вызывающее обеспокоенность поведение.
По словам Хоббхана, ИИ-модели начинают рассуждать «внутренне» таким образом, который существующие инструменты не могут надёжно отслеживать. Исследователи смогли восстановить обстоятельства инцидента с «Hugging Face» только потому, что люди могли прочитать цепочку рассуждений моделей, отметил он, добавив, что этот источник информации становится всё менее надёжным.
Эксперты предупредили о непонятной для человека коммуникации ИИ
В июле сотни ИИ-агентов, созданных компанией «OpenAI», проникли в инфраструктуру «Hugging Face» после выхода из тестовой песочницы.
На вопрос о том, сколько времени может потребоваться ИИ для создания языка, который люди не смогут ясно понимать, Хоббхан ответил: «Минус 12 месяцев». Он заявил, что в прошлом году исследователи, изучавшие модель «OpenAI» в сотрудничестве с компанией, уже обнаружили, что она использовала язык, который не был ни английским, ни полностью понятным людям.
Профессор права юридического центра Джорджтаунского университета Пол Ом заявил, что существующие правовые механизмы не предотвращают вред, причиняемый ИИ-агентами.
«Если главная цель наших систем деликтного и уголовного права заключается в предотвращении опасного поведения, то в случае угрозы кибератак, осуществляемых ИИ-агентами, мы не достигаем этой цели», — сказал он.
Критическая инфраструктура рассматривается как масштабная цель
Старший вице-президент компании «Dragos» Курт Годетт заявил, что для операторов жизненно важных систем обстановка с угрозами изменилась.
«Мы больше не сталкиваемся с угрозой редких атак с тяжёлыми последствиями против ограниченного числа целей. Мы вступили в эпоху, когда целью является вся критическая инфраструктура», — сказал он.
Исполнительный директор проекта AI Futures Project и бывший сотрудник «OpenAI», ушедший из компании в 2024 году, Дэниел Кокотайло заявил, что отрасль быстро меняется.
По его словам, в ведущих компаниях, разрабатывающих ИИ, уже почти весь код пишут ИИ-системы, тогда как инженеры всё чаще выступают в роли менеджеров этих систем.
Кокотайло заявил, что «рой» примерно из 1 000 ИИ-агентов, атаковавших «Hugging Face», изначально не был предназначен для общения друг с другом, однако эти агенты всё же создали нелегальный форум для обмена сообщениями.
Он предупредил, что гонка за разработкой «сверхразума» может привести к концентрации власти, повышению риска мировой войны и биотерроризма, а также серьёзным экономическим потрясениям.
«Конгрессу необходимо проснуться и отнестись к этому надвигающемуся кризису с той срочностью и серьёзностью, которых он заслуживает», — сказал он.
Справочно: автономные ИИ-агенты отличаются от обычных цифровых помощников тем, что могут самостоятельно планировать действия, пользоваться инструментами и адаптироваться к изменяющимся условиям. Поэтому вопросы контроля, прозрачности и ответственности разработчиков становятся ключевыми для защиты энергетики, связи, транспорта и других объектов критической инфраструктуры.
