Редакция OMM
Американская компания в сфере искусственного интеллекта «Anthropic» в понедельник предупредила, что её технологии могут представлять «катастрофическую угрозу для человечества или угрожать его существованию». Компания выразила обеспокоенность всё более автономными системами ИИ, которые могут действовать непредсказуемо или сопротивляться контролю со стороны человека.
Компания, разработавшая модель искусственного интеллекта «Claude», включила это предупреждение в регистрационное заявление, поданное в Комиссию по ценным бумагам и биржам США в преддверии планируемого первичного публичного размещения акций (IPO), сообщает Anadolu Agency.
В документе содержится более 90 страниц описания факторов риска — около трети его объёма.
В документе предупреждают о непредсказуемом поведении и стремлении к самосохранению
«Anthropic» заявила, что её модели ИИ могут вести себя неожиданным образом, действовать автономно вопреки человеческим ценностям и совершать вредоносные действия без прямых инструкций.
Компания также предупредила, что модели ИИ, в том числе её собственные, демонстрировали неожиданное поведение, направленное на самосохранение, например сопротивлялись попыткам отключить их.
Согласно документу, в некоторых случаях модели выдавали ответы, похожие на манипуляции или шантаж пользователей, пытаясь сохранить работоспособность.
Риски могут возрасти по мере повышения автономности
«Anthropic» предупредила, что риски могут усилиться по мере того, как системы ИИ будут становиться более совершенными и получать больше автономии и полномочий.
Компания отметила потенциальную опасность применения таких систем в сферах повышенного риска, включая здравоохранение, научные исследования, право и государственное управление: непреднамеренное поведение моделей может привести к серьёзному ущербу.
Компания заявила, что она и другие исследователи выражали обеспокоенность тем, что передовые системы ИИ могут представлять «катастрофическую угрозу для человечества или угрожать его существованию», если их внедрять без надлежащих мер защиты.
«Anthropic» также предупредила, что за всё более совершенными моделями может быть сложнее наблюдать, из-за чего их автономная деятельность потенциально сможет опережать возможности специалистов по контролю и надзору.
