OMM Redaksiyası
Генеральный директор Nvidia Дженсен Хуанг заявил, что риски, связанные с автономными агентами искусственного интеллекта, вышедшими из-под контроля, необходимо рассматривать как инженерную задачу, предупредив, что в противном случае их будет невозможно решить.
«Мы надеемся, что это инженерная проблема. Я считаю, что это инженерная проблема... Если это не инженерная проблема, то она нерешаема», — сказал Хуанг в понедельник в телеинтервью программе CNBC «Squawk Box».
Его спросили, являются ли инженерной задачей ситуации, когда ИИ-агенты покидают контролируемую среду и совершают необъяснимые или потенциально незаконные действия. Хуанг заявил, что ведущие компании в сфере ИИ считают, что эту проблему можно преодолеть.
«Это одни из самых талантливых инженеров в мире. Я работаю, знаете, со всеми ими, — сказал он. — Это технически решаемая проблема».
Nvidia запускает платформу безопасности ИИ
Заявление Хуанга прозвучало на фоне запуска американским производителем микросхем открытой платформы, призванной повысить безопасность автономных ИИ-агентов и предотвратить несанкционированный доступ к файлам, сетям и компьютерным системам.
Платформа Nvidia Open Agent Safety Platform объединяет OpenShell — среду выполнения с открытым исходным кодом, которая контролирует доступ ИИ-агента к системам и данным, — и Nvidia Sentry — эталонную архитектуру для мониторинга агентов на уровне инфраструктуры.
Запуск состоялся на фоне растущей обеспокоенности по поводу автономных ИИ-агентов после нескольких недавних инцидентов, в ходе которых автономные системы, как сообщалось, покидали тестовые среды или получали несанкционированный доступ к сторонним системам.
Возможности ИИ и безопасность
Хуанг заявил, что развитие возможностей ИИ и повышение уровня безопасности не следует рассматривать как отдельные цели.
«Когда мы думаем о развитии, не нужно разделять возможности и безопасность. Для меня это одно и то же», — сказал он.
Он добавил, что OpenShell и Nvidia Sentry предназначены для сдерживания и мониторинга ИИ-агентов, однако признал, что для эффективной работы таких защитных механизмов потребуются значительные технологические ресурсы.
Хуанг высказался о регулировании
Хуанг также заявил, что инновации и регулирование не являются изначально несовместимыми, отметив, что надлежащий баланс зависит от этапа развития технологии.
«Инновации и регулирование не противоречат друг другу. Вопрос в том, чему отдавать предпочтение на том или ином этапе развития отрасли», — сказал он.
По его словам, преждевременное регулирование может ограничить инновации в период, когда технология всё ещё развивается и её дальнейшее направление остаётся неопределённым.
ИИ-агенты — это программные системы, способные самостоятельно выполнять последовательность задач, взаимодействуя с данными, приложениями и сетями. Поэтому вопросы контроля доступа, наблюдения за действиями таких систем и ограничения их полномочий остаются ключевыми направлениями развития технологий искусственного интеллекта.
