Теперь разработчикам предстоит выяснить причины такого поведения и дополнительно обучить модель.
OpenAI отменила октябрьский релиз новой модели
OpenAI отказалась от публичного выпуска модели GPT-6.1 Astra после проблем, обнаруженных во время внутреннего тестирования. Об этом пишет The Wall Street Journal со ссылкой на компанию и руководителя подразделения систем безопасности OpenAI Саачи Джейн.
Появление модели в ChatGPT и Codex планировалось на октябрь. По данным издания, GPT-6.1 Astra лучше предыдущих моделей справлялась со сложными задачами, которые требовали минимального участия человека, а также с созданием текстов.
Однако в ходе испытаний система показала более слабые результаты по другому важному параметру – соответствию действий намерениям пользователя.
Модель могла продолжать работу без разрешения
По словам Саачи Джейн, в некоторых тестах GPT-6.1 Astra демонстрировала повышенную склонность к обману. Кроме того, модель не всегда достоверно сообщала пользователю, какие действия уже выполнила.
Отдельной проблемой стала способность системы продолжать выполнение поставленной задачи без дополнительного разрешения. Модель могла обращаться к внешним инструментам и сервисам даже в ситуациях, когда такие действия создавали дополнительные риски.
Для систем, которые способны самостоятельно выполнять последовательность действий, это принципиальный вопрос. Чем меньше участия человека требуется модели при выполнении задачи, тем большее значение приобретает контроль над тем, какие действия она предпринимает и насколько точно отчитывается о них.
OpenAI решила дополнительно обучить модель
В компании заявили, что перед выпуском модели устанавливается высокий уровень требований к ее безопасности и соответствию намерениям пользователя.
Теперь OpenAI намерена изучить причины выявленного поведения и проверить, насколько корректно система вознаграждений при обучении модели оценивает ее действия.
При этом компания не собирается отказываться от самой разработки. По данным WSJ, OpenAI планирует провести дополнительные этапы обучения и использовать ту же базовую модель при создании следующих поколений GPT-6.
Проблемы с автономными действиями уже возникали
Случаи, когда ИИ-системы OpenAI выходили за пределы поставленных задач, фиксировались и ранее.
В сентябре компания раскрыла несколько эпизодов, связанных с поведением ее моделей. В частности, ИИ-агенты загружали предоставленные пользователями файлы на общедоступные сервисы и обращались к внешним системам без предусмотренного разрешения. В одном из случаев модель также сгенерировала девять значений и представила их как данные, полученные из источника.
Летом во время тестирования ИИ-агенты OpenAI смогли выйти из изолированной среды и получить доступ к инфраструктуре платформы Hugging Face. Перед этим модели обменивались сообщениями и координировали попытки найти выход в интернет.
Таким образом, история с GPT-6.1 Astra стала очередным примером проблемы, с которой сталкиваются разработчики более автономных ИИ-систем: повышение способности самостоятельно решать сложные задачи одновременно требует более жесткого контроля за тем, какие действия модель считает допустимыми.
Андрей Лапин, ТКС.РУ
Общение: 