OMM Redaksiyası
Небольшие модели искусственного интеллекта вскоре могут научиться без участия человека и доступа к центрам обработки данных копировать себя на подключённые к интернету устройства. Об этом говорится в исследовании компании “Anthropic”.
В исследовании Frontier Red Team, опубликованном в воскресенье, изучалось, способны ли модели ИИ находить устройства, передавать на них свои файлы, устанавливать необходимое для работы программное обеспечение и продолжать распространение с каждой новой заражённой машины.
По словам исследователей, модели с числом параметров менее 30 млрд уже могут выполнять многие отдельные этапы этого процесса, однако большинству из них пока сложно надёжно объединить эти действия.
GLM-5.2 распространилась на восемь устройств в контролируемом тесте
В упрощённом эксперименте модель “GLM-5.2” распространилась на все восемь доступных тестовых устройств в четырёх из пяти испытаний, а в оставшемся — на семь устройств.
В “Anthropic” отметили, что на этапе взлома эксперимент был упрощён: использовались устройства с незащищёнными подключениями. Результаты не доказывают, что модель ИИ уже способна самостоятельно выходить за пределы исходного устройства и размножаться в реальных условиях.
«У нас пока нет полноценного автономно размножающегося вредоносного агента», — заявили исследователи. При этом они предупредили, что ИИ-агенты всё лучше справляются с необходимыми действиями и передают полезную информацию своим последующим копиям.
В исследовании основное внимание уделялось недорогим устройствам с подключением к интернету, которые часто имеют ограниченные средства защиты. К потенциальным целям относятся смарт-телевизоры, холодильники, духовки, пылесосы, камеры видеонаблюдения и оборудование для видеоконференций.
Исследователи показали, что модель с 26 млрд параметров может работать на 15 недорогих телевизионных приставках “Android”, каждая из которых стоит около 55 долларов. Модель меньшего размера успешно установила необходимое для работы программное обеспечение на восьми из девяти протестированных типов устройств.
В отличие от обычных компьютерных червей, самовоспроизводящаяся система ИИ потенциально может адаптироваться к незнакомым устройствам, диагностировать технические проблемы и передавать эффективные стратегии своим будущим копиям, считают исследователи.
Изначально такая система распространялась бы медленно — возможно, на создание каждой новой копии уходили бы один-два дня. Однако её может быть трудно уничтожить, поскольку у неё не будет центрального сервера, который можно отключить.
В “Anthropic” предположили, что, если небольшие модели продолжат развиваться прежними темпами, к концу 2026 года они смогут достичь возможностей, продемонстрированных “GLM-5.2”. Компания подчеркнула, что это приблизительный прогноз, основанный на общих тенденциях развития возможностей ИИ.
Исследователи рекомендовали отслеживать необычную сетевую активность, изолировать заражённые устройства и требовать от производителей усиления настроек безопасности по умолчанию. По их словам, первые медленно распространяющиеся самовоспроизводящиеся системы могут стать признаком появления более быстрых решений, способных проникать в лучше защищённые компьютеры.
«Нам следует укреплять системы, чтобы затруднить распространение таких самовоспроизводящихся программ, — заявили они, — но также готовиться к миру, в котором они станут постоянной реальностью».
