OMM Redaksiyası
Ведущие исследователи в области искусственного интеллекта и представители индустрии предупредили, что растущая автоматизация разработки ИИ может повысить риск утраты людьми контроля над всё более мощными системами.
Предупреждение содержится в статье, опубликованной в понедельник и подписанной более чем 20 исследователями и представителями индустрии, включая лауреата Нобелевской премии Джеффри Хинтона, Йошуа Бенжио, главного научного сотрудника OpenAI Якуба Пачоцкого и сооснователя Anthropic Джека Кларка.
Как автоматизированная разработка ИИ может создавать риски
Согласно статье, системы ИИ всё чаще берут на себя отдельные этапы исследований и разработок, используемых для создания более совершенных систем. Это может привести к возникновению замкнутого цикла, в котором усовершенствованный ИИ помогает разрабатывать ещё более мощных преемников.
По мере сокращения участия людей в исследованиях в области ИИ они могут утратить как возможности, так и экспертные знания, необходимые для выявления и устранения проблем. Исследователи также заявили, что надёжное использование одних систем ИИ для контроля над другими системами ИИ остаётся нерешённой задачей.
Авторы предупредили, что системы, чьи цели не согласованы с интересами человека, потенциально могут «отравить» процесс разработки своих преемников либо обойти меры сдерживания и работать за пределами предусмотренной для них среды.
Как отмечается в статье, более мощные системы могут продолжать функционировать за пределами инфраструктуры своих операторов, создавая «устойчивые, трудно сдерживаемые сети», действующие вопреки интересам человека.
Такая утрата контроля может привести к катастрофическим последствиям, включая, в самом крайнем сценарии, маргинализацию или исчезновение человечества.
Годы прогресса могут уместиться в несколько месяцев
Исследователи заявили, что риски могут усилиться, если автоматизированная разработка ИИ спровоцирует «взрыв интеллекта» — резкое ускорение, при котором годы технологического прогресса будут пройдены за несколько месяцев или ещё более короткий срок.
Вместе с тем они подчеркнули, что имеющиеся данные пока остаются предварительными и неопределёнными. Такие факторы, как вычислительные мощности, доступ к данным и задачи, которые сложно автоматизировать, могут ограничить темпы подобного ускорения.
Авторы призвали политиков усилить надзор за автоматизированными исследованиями в области ИИ, разработать защитные механизмы для сдерживания потенциально опасного ускорения и подготовиться к его возможным последствиям.
«После начала взрыва интеллекта окно возможностей для принятия мер может закрыться», — предупредили они.
Искусственный интеллект — это направление компьютерных наук, связанное с созданием систем, способных выполнять задачи, обычно требующие человеческого интеллекта. По мере развития технологий вопросы безопасности, контроля и ответственности становятся предметом обсуждения среди исследователей, компаний и государственных органов.
