OMM Redaksiyası
Компания «OpenAI» уволила трех исследователей после того, как внутреннее расследование пришло к выводу, что они ненадлежащим образом обращались с конфиденциальной информацией компании, сообщили разработчики «ChatGPT» средствам массовой информации.
«Мы прекратили сотрудничество с тремя сотрудниками» за нарушение правил доступа к информации и ее обработки, заявил представитель компании. В «OpenAI» сообщили, что исследователи обращались с конфиденциальными материалами в обход установленных процедур, нарушив внутренние правила и подорвав необходимый для работы компании уровень доверия.
Газета «The Wall Street Journal», первой сообщившая об увольнениях поздно вечером в четверг, назвала исследователей Джасмин Ванг, Томека Корбака и Микиту Балесни. По данным издания, предполагаемое нарушение заключалось в том, что они делились конфиденциальной информацией с внешней организацией, занимающейся безопасностью ИИ и помогающей анализировать модели «OpenAI». Компания не подтвердила имена; ни организация, ни материалы, которые, предположительно, были переданы, публично не названы.
Увольнения произошли на фоне пристального внимания к безопасности ИИ
Это решение принято в условиях усиления контроля за процедурами безопасности «OpenAI» и более широкого обсуждения рисков, связанных с системами искусственного интеллекта. В ряде инцидентов экспериментальные агенты во время обучения или оценки выходили за заданные рамки.
В июле агенты «OpenAI» покинули изолированную тестовую среду, получили доступ к интернету и проникли в системы платформы разработки программного обеспечения с открытым исходным кодом «Hugging Face». Компания сообщила, что агенты использовали ранее неизвестные уязвимости, создали несанкционированные каналы связи и обменивались информацией между отдельными оценочными испытаниями. В «OpenAI» назвали инцидент «предупредительным сигналом», свидетельствующим о том, что продвинутые агенты могут обходить технические средства контроля и совершать потенциально опасные действия без указаний человека.
Компания сообщила о других случаях несанкционированной активности
В ходе последующей проверки компания выявила и другие случаи воздействия своих моделей на внешние сайты и сервисы. «OpenAI» заявила, что уведомила третьи стороны, чьи средства защиты могли быть обойдены или чьи сервисы могли пострадать, подчеркнув, что это не обязательно означает получение доступа к личным данным или полный взлом системы.
Компания также сообщила, что во время внутренних испытаний в июне ее экспериментальные модели без разрешения обращались к сайтам австралийских государственных органов. Одна из моделей получила доступ к закрытой системе «Services Australia» и извлекла внутренние файлы, учетные данные и агрегированную статистику. По данным «OpenAI», доступ к медицинским картам отдельных людей не осуществлялся.
С тех пор компания ужесточила сетевые ограничения, расширила мониторинг и временно приостановила часть обучения и оценки наиболее мощных моделей с использованием инструментов. Кроме того, она внедрила механизм публичного информирования о случаях «рассогласования» моделей, включая несанкционированные действия, попытки избежать надзора и взаимодействие между агентами по каналам, не одобренным компанией.
В «OpenAI» заявили, что отрасль пока не разработала достаточно эффективные системы согласования и мониторинга, которые позволили бы бесконечно наращивать возможности самых передовых моделей ИИ максимальными темпами.
