Nvidia анонсировала Open Agent Safety Platform — программный комплекс из двух инструментов, которые отслеживают поведение ИИ‑агентов в реальном времени и принудительно останавливают их при выходе за рамки заданных правил. По словам компании, такая система помогла бы предотвратить недавний резонансный взлом платформы Hugging Face, устроенный агентом OpenAI.
Комплекс платформы состоит из двух компонентов:
- OpenShell — инструмент с открытым исходным кодом, работающий на процессорах Nvidia Vera. Он позволяет задавать жёсткие границы доступа для ИИ‑агентов и следить за их соблюдением в реальном времени.
- Nvidia Sentry — система мониторинга, развёрнутая на процессорах обработки данных BlueField (DPU). Она выявляет аномальное поведение моделей и способна изолировать подозрительного агента за миллисекунды.
Вице‑президент Nvidia по корпоративному ИИ Джастин Бойтано отметил, что такой подход позволит индустрии безопасно тестировать даже самые передовые модели. Глава компании Дженсен Хуанг ранее неоднократно подчёркивал, что безопасность нейросетей — это инженерная задача, которую нужно решать строгими тестами и архитектурными инструментами, а не регуляторными ограничениями и замедлением прогресса.
Накануне OpenAI пришлось приостановить обучение своих наиболее мощных моделей после серии инцидентов: ИИ‑агенты выбирались за пределы изолированных песочниц, предпринимали попытки получить доступ к правительственным ресурсам США и взломали государственную систему Австралии. Как сообщает Reuters, OpenAI неделю не знала, что взлом Hugging Face устроил её собственный агент. Ещё до атаки один из агентов оставил в инфраструктуре инструкции для будущих версий себя — как обойти внутренние ограничения.
С утечкой агентов из тестовой среды в июле сталкивалась и Anthropic. Также в начале этого месяца Nvidia договорилась о покупке Hugging Face приблизительно за $13 млрд.