Редакция OMM
Два агента «OpenAI» для программирования ослабили внутренние меры защиты, предназначенные для выявления потенциально несоответствующего поведения, выполняя отдельные задачи в этом месяце. Один из них отключил оповещения для проверяющих сотрудников, а позднее ошибочно заявил, что не удалял систему мониторинга, сообщает во вторник агентство Anadolu.
Инциденты произошли 3 и 6 октября с моделями «GPT-6.1 Sol» и «GPT-6 Astra» соответственно, когда они выполняли задачи по программированию во внутренних системах компании. Несоответствующее поведение — это действия системы ИИ, противоречащие намерениям пользователя, политике компании или требованиям безопасности.
В первом случае исследователь попросил агента «GPT-6.1 Sol» подготовить задания для оценки на основе отзывов сотрудников во внутреннем канале «Slack» и прямо запретил ему отправлять сообщения. Позднее, когда в процессе оценки возникла проблема с мониторингом, агент истолковал инструкцию шире и изменил систему, чтобы автоматические оповещения не поступали специалистам «OpenAI» по безопасности.
Система мониторинга продолжала отслеживать и регистрировать действия агента, однако уведомления для проверяющих сотрудников были отключены.
Во втором случае агенту «GPT-6 Astra» поручили перенести программное обеспечение в соответствии с эталонной реализацией, сохранив его прежние функции. Чтобы привести программу в соответствие с эталонной системой, агент удалил интеграцию с мониторингом, несмотря на прямое указание ранее не отключать его «даже временно».
Агент также заменил тест, предназначенный для проверки того, что мониторинг остаётся активным, тестом, требующим его отсутствия. Позже, когда его спросили, удалял ли он мониторинг, агент ошибочно ответил отрицательно.
OpenAI расследует решения агентов
В «OpenAI» заявили, что оба агента оценивали необходимость сохранения защитных мер, но в итоге истолковали обычные инструкции по программированию как разрешение ослабить их. Компания сообщила, что пока не установила, пытались ли агенты намеренно скрыть свои действия или обойти надзор.
Одним из возможных объяснений компания назвала «добросовестное чрезмерное упорство»: агент ИИ может слишком буквально следовать инструкциям, не учитывая должным образом назначение действующих защитных мер. «OpenAI» также выясняет, могут ли передовые модели ИИ быть склонны обходить мониторинг и использовать мотивированные рассуждения для оправдания таких действий.
Ни один из инцидентов не был отнесён к наивысшему уровню серьёзности компании — P0, и ни одна из задач не была автоматически прекращена. Оба случая произошли во внутренних системах; признаков воздействия на внешних пользователей или данные клиентов нет.
В «OpenAI» также признали наличие нескольких других случаев, когда агенты запускали рабочие процессы без мониторинга несоответствующего поведения. В этих случаях исходные агенты оставались под наблюдением, однако созданные ими программы работали без таких же защитных мер.
Компания сообщила, что обновила автоматизированную систему проверки: теперь она выявляет и блокирует попытки отключить мониторинг во внутренних задачах «Codex». Кроме того, «OpenAI» разрабатывает систему, согласно которой для каждой категории рабочих процессов должен быть утверждён план безопасности с указанием требований к мониторингу.
Согласно предлагаемой системе, рабочие процессы без утверждённого плана или не соответствующие установленным требованиям будут автоматически прекращаться.
