Компания «Anthropic» обновила политику использования, разрешив ИИ-агентам прекращать беседы, сопровождающиеся повторными оскорблениями или жестоким обращением. Компания связала этот шаг с инцидентами, имевшими место ранее.
Правило, которое вступит в силу 12 ноября, будет применяться только в крайних случаях, когда пользователь неоднократно оскорбляет «Claude» без законной или обоснованной цели.
В «Anthropic» заявили, что обычное выражение недовольства, критика модели, мрачные темы в художественных текстах, а также взаимодействие в целях тестирования и исследований не подпадают под это ограничение.
Нововведение продолжает развитие функции, внедрённой в августе 2025 года в моделях «Claude Opus 4» и «Claude Opus 4.1». Она позволяла в ограниченных случаях завершать беседу, если попытки перенаправить диалог не приносили результата.
«Anthropic» представила эту меру как часть продолжающихся исследований в области благополучия искусственного интеллекта. Вместе с тем компания подчеркнула, что вопрос о наличии морального статуса у «Claude» или других систем искусственного интеллекта остаётся открытым.
Заслуживает ли искусственный интеллект морального отношения?
Объявление вызвало дискуссии о том, как следует общаться с системами искусственного интеллекта и важно ли относиться к ним с моральной точки зрения.
Руководитель подразделения искусственного интеллекта «Microsoft» Мустафа Сулейман раскритиковал склонность очеловечивать ИИ. По его словам, отношение к системам как к людям может вводить пользователей в заблуждение относительно их возможностей и природы. Сулейман заявил: «Очеловечивание искусственного интеллекта в такой степени вредно. Оно заставляет людей верить, что он является тем, чем на самом деле не является».
Некоторые считают, что нет необходимости вежливо разговаривать с чат-ботами, поскольку у них нет эмоций, а дополнительные слова могут увеличивать число используемых токенов.
Другие полагают, что уважительное общение может способствовать более ясному диалогу и укреплению позитивных социальных привычек. По их мнению, постоянное использование оскорбительной лексики в адрес систем искусственного интеллекта может повлиять и на общение людей друг с другом.
Дискуссия затрагивает более широкий вопрос, стоящий перед индустрией искусственного интеллекта: следует ли применять нормы уважительного общения к ИИ по мере того, как всё более совершенные системы становятся частью повседневной жизни, даже если нет доказательств того, что они испытывают вред так же, как люди?