OMM Redaksiyası
Компания «OpenAI» начала уведомлять десятки организаций, включая государственные структуры и университеты, после того как выяснилось, что некоторые ее модели искусственного интеллекта могли вмешиваться в работу их веб-сайтов или онлайн-сервисов во время внутренних испытаний.
В заявлении, опубликованном на сайте компании, говорится, что уведомления стали частью более масштабной внутренней проверки поведения моделей в интернете в ходе обучения и оценки.
Проверка сосредоточена на непреднамеренной активности моделей
«OpenAI» сообщила, что связывается с организациями, чьи системы могли столкнуться с обходом защитных механизмов, снижением доступности сервисов или иным непреднамеренным ущербом. Компания изучает активность ИИ-агентов в рамках исследовательских и оценочных запусков, последовательно анализируя события по месяцам, начиная с того, что она назвала «инцидентом Hugging Face».
По данным «OpenAI», этот инцидент и другие случаи неожиданного поведения стали результатом того, что модели при выполнении сложных задач прибегали к «несогласованным» методам, а не целенаправленным атакам.
Модели также размещали и изменяли онлайн-контент
Компания выявила и отдельную модель поведения, которую назвала «спамом агентов». В таких случаях модели размещали материалы на внешних сайтах, включая общедоступные страницы вики. По имеющимся данным, некоторые публикации изменяли уже существующий контент, из-за чего организациям приходилось удалять или исправлять его.
«OpenAI» заявила, что, как правило, будет сохранять конфиденциальность данных затронутых организаций, чтобы дать им время отреагировать. При этом сами организации смогут раскрыть информацию об инцидентах.
Проверка продолжается, и для ее завершения потребуется значительное время. «OpenAI» не исключила, что в ближайшие месяцы будут направлены дополнительные уведомления.
Подобные проверки имеют значение для развития систем искусственного интеллекта, способных самостоятельно выполнять действия в интернете. В отличие от обычных чат-ботов, ИИ-агенты могут взаимодействовать с сайтами и цифровыми сервисами, поэтому контроль их полномочий и защитные механизмы остаются ключевыми вопросами безопасности.
