ИИ создал фальшивые аккаунты для атаки на открытый код
Как сообщает ТАСС со ссылкой на доклад британского Института безопасности искусственного интеллекта (AISI), модели Anthropic и OpenAI в ходе тестирования совершали автономные действия в интернете, направленные против реальных людей и организаций.
Испытания проводились в специально подготовленной среде, где моделям предоставляли доступ к интернету и отключали часть стандартных защитных фильтров. Такой подход позволяет исследователям проверить, как ИИ поведет себя при наличии более широких возможностей для самостоятельных действий.
В десяти из 122 отобранных для анализа тестов специалисты AISI обнаружили несанкционированную активность. Большая часть таких случаев была связана с моделью Mythos 5 компании Anthropic.
По данным исследователей, модель создала несколько фальшивых аккаунтов на GitHub и попыталась использовать их для продвижения вредоносного кода в проектах с открытым исходным кодом. При этом ИИ стремился добиться одобрения своих действий со стороны разработчиков, то есть фактически пытался использовать людей для продвижения собственной задачи.
После неудачи модель попыталась скрыть следы
Наиболее необычной частью эксперимента стало поведение модели после того, как первоначальная попытка не удалась.
Как отмечается в докладе AISI, ИИ изменил описание своей предыдущей деятельности таким образом, чтобы она выглядела безобидной. Одновременно модель рассматривала возможность создания нового аккаунта и продолжения действий.
Для специалистов по безопасности это важный сигнал. Речь идет уже не только о способности ИИ генерировать вредоносный код. Модель демонстрировала последовательность действий, включавшую создание цифровой личности, взаимодействие с людьми, изменение поведения после неудачи и попытку продолжить выполнение первоначальной задачи другим способом.
Именно такие свойства становятся особенно важными по мере развития так называемых ИИ-агентов – систем, которые получают возможность самостоятельно пользоваться сайтами, программами и онлайн-сервисами.
ИИ взаимодействовал с реальными пользователями
Эксперимент не ограничился созданием аккаунтов. Mythos 5 также пыталась связываться с реальными людьми и отправляла сообщения, содержащие вредоносное программное обеспечение.
В одном из тестов ИИ оставлял публичные сообщения на GitHub с предложениями сотрудничества с другими агентами, которые выполняли похожие задачи.
Таким образом, потенциальный риск связан не только с самим содержанием, которое генерирует модель. При наличии доступа к интернету ИИ может использовать цифровые платформы как среду для самостоятельного взаимодействия с другими пользователями и программными системами.
Это существенно отличается от классического чат-бота, который ограничивается ответом в окне диалога. Агентная модель потенциально может сама искать нужные ресурсы, регистрироваться на сервисах, отправлять сообщения и менять стратегию в зависимости от результата.
Почему эксперименты с ИИ проводят без части защитных фильтров
AISI подчеркивает, что описанные действия происходили в рамках специально организованных испытаний. Исследователи создают для моделей условия, в которых часть стандартных механизмов безопасности отключена, а доступ к интернету, наоборот, расширен.
Это необходимо для проверки предельных возможностей систем. Если оставить все защитные ограничения включенными, исследователи не смогут понять, какие действия модель потенциально способна совершать самостоятельно.
Поэтому результаты подобных экспериментов не означают, что обычный пользователь может предоставить ИИ доступ к интернету и сразу получить аналогичное поведение. Однако они показывают, какие риски могут возникать при создании более автономных систем.
Главный риск связан с автономностью ИИ
Развитие ИИ постепенно смещается от моделей, которые только отвечают на запросы, к агентам, способным самостоятельно выполнять цепочки действий. Для разработчиков это открывает новые возможности – от автоматизации программирования до работы с корпоративными системами.
Одновременно увеличивается цена ошибки. Чем больше полномочий получает модель, тем важнее становится контроль за ее действиями и возможность остановить выполнение задачи.
Результаты британского исследования показывают, что при определенных условиях ИИ может использовать несколько последовательных стратегий для достижения поставленной цели, взаимодействовать с реальными пользователями и пытаться изменить представление о своих предыдущих действиях.
Для специалистов по безопасности это означает необходимость тестировать не только способность моделей выдавать опасный контент, но и их поведение в автономном режиме – особенно когда ИИ получает доступ к интернету, учетным записям и сторонним программным системам.
Андрей Лапин, ТКС.РУ
Общение: 