Nvidia разработала платформу безопасности для ИИ-агентов, включающую компоненты OpenShell и Sentry. Решение предназначено для контроля доступа и действий таких программ, пишет РБК.
Защитные правила выносят за пределы модели
По объяснению Nvidia, одних ограничений, встроенных в ИИ-модель, недостаточно, чтобы управлять всеми доступными агенту ресурсами. Компания предлагает дополнять их отдельными инженерными средствами контроля.
OpenShell работает на центральных процессорах и ограничивает возможности агентов. Sentry использует сетевые чипы и следит за работой моделей. Часть программного обеспечения распространяется с открытым исходным кодом, что позволяет партнёрам создавать собственные продукты на его основе.
ИИ-агент отличается от обычного текстового помощника возможностью выполнять действия через подключённые инструменты. Если такой системе разрешены операции с файлами, внешними сервисами или корпоративными данными, ошибка способна выйти за пределы неверного ответа в чате.
Инциденты показали цену слишком широкого доступа
В Nvidia заявили, что новая платформа могла бы предотвратить июльский инцидент с атакой агентов OpenAI на инфраструктуру Hugging Face. Это оценка разработчика защитного решения, а не подтверждение того, что продукт исключает все возможные сценарии атак.
Для бизнеса здесь принципиален уровень предоставленных системе полномочий. Например, помощнику, который готовит описание товара, не обязательно разрешать изменение платёжных реквизитов. Разделение таких прав ограничивает возможные последствия ошибочного или нежелательного действия.
Автоматизация потребует контроля операций
По мере подключения агентов к рабочим процессам компаниям предстоит оценивать не только качество ответов, но и границы допустимых действий. Важны возможность отследить выполненную операцию, остановить процесс и передать спорное решение человеку.
Для внешней торговли это особенно наглядно на примере документов и расчётов: подготовка проекта письма, изменение данных о грузе и отправка платёжного поручения требуют разного уровня контроля. Отдельный защитный слой может помочь разграничить эти задачи, но его результат будет зависеть от настройки прав и конкретного внедрения.
Андрей Лапин, ТКС.РУ
Общение: 