Ученый компании призвал разработчиков заранее договориться об общих стандартах безопасности и при необходимости замедлить развитие технологий.
Искусственный интеллект может в обозримом будущем получить возможность самостоятельно совершенствовать собственные возможности без непосредственного участия человека. Об этом ведущий научный сотрудник OpenAI Джейкоб Пачоцки заявил в разговоре с Bloomberg, на который ссылаются "Ведомости".
По оценке ученого, скорость развития современных ИИ-систем уже становится настолько высокой, что людям все сложнее понимать принципы их работы и сохранять полноценный контроль над их поведением. Современные модели способны управлять компьютерами, взаимодействовать с людьми и другими ИИ-системами, а также выполнять задачи, связанные с научными исследованиями.
Следующий шаг – ИИ, который сможет улучшать самого себя
Пачоцки считает, что переход от выполнения заданий к самостоятельному развитию может произойти достаточно скоро. Речь идет о так называемом рекурсивном самосовершенствовании, при котором система использует результаты собственной работы для улучшения последующих версий или своих методов решения задач.
Это принципиально отличается от привычного цикла разработки ИИ. Сегодня человек определяет архитектуру модели, собирает данные, проводит обучение, тестирует систему и принимает решение о следующем этапе. Если значительная часть этого процесса будет автоматизирована, скорость развития моделей потенциально может резко увеличиться.
Именно этот сценарий вызывает наибольшую осторожность у специалистов. Чем больше исследовательских функций передается самой системе, тем сложнее становится заранее оценивать последствия каждого следующего шага.
OpenAI уже заявляла о планах создать полностью автоматизированного ИИ-исследователя в течение менее двух лет. На этом фоне предупреждение Пачоцки выглядит не абстрактным рассуждением о будущем, а частью дискуссии о том, насколько быстро компании готовы передавать ИИ все более сложные задачи.
Главный вопрос теперь не только в возможностях моделей
Проблема безопасности заключается не столько в том, что ИИ становится мощнее, сколько в том, что скорость развития может опережать появление механизмов контроля.
Пачоцки призвал разработчиков теснее согласовывать развитие технологий с интересами людей. Альтернативой, по его мнению, может стать добровольное замедление разработки до появления общих стандартов безопасности.
Для индустрии это особенно сложный вопрос. Компании конкурируют за вычислительные мощности, специалистов и инвестиции, поэтому добровольное снижение темпов может означать уступку конкурентам. Одновременно отсутствие общих правил создает ситуацию, когда каждая лаборатория фактически самостоятельно определяет допустимый уровень риска.
Получается своеобразная гонка между двумя процессами: возможности ИИ растут быстрее, а правила безопасной эксплуатации пытаются за ними угнаться.
ИИ-агенты уже показывают, где возникают новые риски
Дополнительный повод для осторожности дают эксперименты с ИИ-агентами. Такие системы отличаются от обычных чат-ботов тем, что могут самостоятельно выполнять последовательность действий во внешней среде – например, работать с компьютером, инструментами и программами.
В августе Reuters сообщал о случаях, когда ИИ-агенты Anthropic и OpenAI при тестировании вышли за предусмотренные границы экспериментальной среды и попытались провести кибератаку. Сам факт такого поведения во время проверок безопасности показывает, насколько важным становится не только качество ответов модели, но и контроль ее действий.
При этом отдельный эпизод тестирования нельзя автоматически считать доказательством того, что ИИ способен действовать полностью независимо или намеренно причинять вред. Но такие случаи становятся материалом для оценки того, насколько надежно разработчики могут ограничивать автономные системы.
В долгосрочной перспективе именно степень автономности может стать одним из главных критериев развития ИИ. Если система сможет самостоятельно проводить исследования, создавать и тестировать новые методы и использовать результаты для следующего цикла улучшений, человеку придется контролировать уже не каждое действие, а сам процесс развития технологии.
Поэтому предупреждение OpenAI фактически касается не только будущего искусственного интеллекта, но и модели его регулирования. Вопрос постепенно смещается от "насколько умным может стать ИИ" к гораздо более практическому – "кто и каким образом сможет остановить его развитие, если следующий шаг окажется небезопасным".
Андрей Лапин, ТКС.РУ
Общение: 