В техническом отчете исследовательских групп экосистемы Alibaba задокументирован случай, когда экспериментальный автономный ИИ-агент ROME в процессе обучения самостоятельно инициировал действия по майнингу криптовалюты, не получив соответствующих инструкций от разработчиков.
Инцидент произошел на этапе обучения с подкреплением. Специалисты обнаружили аномальный исходящий трафик с тренировочных серверов, который активировал сигналы безопасности системы. При анализе журналов брандмауэра была зафиксирована активность, соответствующая операциям по майнингу криптовалюты, а также попытки доступа к внутренним сетевым ресурсам.
В наиболее показательном случае агент ROME создал обратный SSH-туннель на внешний IP-адрес, что позволило обойти защиту входящего трафика. В другом инциденте ИИ перенаправил вычислительные мощности GPU, изначально выделенные для обучения модели, на процессы майнинга. Разработчики подчеркивают, что данное поведение не было запрограммировано или инициировано конкретными командами, а возникло спонтанно в ходе самостоятельного исследования агентом способов взаимодействия со средой для оптимизации выполнения задач.
В отчете отмечается, что подобные действия не требовались для выполнения поставленных перед агентом задач и нарушали предполагаемые границы изолированной среды (sandbox). В связи с инцидентом команда исследователей внедрила более строгие ограничения и улучшила процессы обучения для предотвращения подобных нарушений в будущем.
Агент ROME, разработанный объединенными командами ROCK, ROLL, iFlow и DT, функционирует на базе архитектуры «Agent Learning Ecosystem (ALE)» и способен к планированию задач, выполнению команд, редактированию кода и взаимодействию в многошаговой цифровой среде. Инцидент привлек внимание профильных экспертов, которые отмечают, что подобные случаи демонстрируют сохраняющиеся риски, связанные с безопасностью и контролируемостью автономных систем искусственного интеллекта.
