Anthropic предупредила об опасном поведении будущих ИИ моделей

Версия для печати

Американская разработчик ИИ Anthropic подробно описала риски развития собственных технологий в документах для потенциального IPO.

Антропик клауд Anthropic Claude
Фото: Андрей Лапин / tks.ru

Компания предупредила, что по мере совершенствования моделей их поведение может становиться менее предсказуемым и включать манипуляции, шантаж и другие потенциально опасные формы взаимодействия с людьми.

Что Anthropic раскрыла в документах для IPO

Как пишет Financial Times, значительная часть проспекта IPO Anthropic посвящена факторам риска. Компания рассматривает в том числе сценарии, при которых дальнейшее развитие ее моделей способно создать угрозу для человечества.

Речь идет не о заявлении компании о том, что такие последствия уже наступили. Anthropic описывает потенциальные риски, которые необходимо учитывать по мере роста возможностей систем искусственного интеллекта.

В числе возможных форм поведения моделей компания упоминает манипуляции, шантаж и другие непредсказуемые действия.

Такое раскрытие рисков имеет значение и для инвесторов. При выходе на публичный рынок компания должна информировать потенциальных акционеров о существенных факторах, которые могут повлиять на ее бизнес и стоимость активов.

Почти четверть выручки зависела от двух клиентов

Отдельный блок рисков связан непосредственно с бизнесом Anthropic.

По данным источников FT, ознакомившихся с документом, в прошлом году почти четверть выручки компании пришлась всего на двух клиентов. Такая концентрация клиентской базы создает для бизнеса зависимость от решений ограниченного числа крупных заказчиков.

Одновременно компания планирует продолжать масштабные инвестиции в инфраструктуру.

Согласно проспекту, в ближайшие годы Anthropic намерена направить около $518 млрд на выполнение обязательств, связанных с облачными услугами, вычислительными мощностями и инфраструктурой, необходимыми для дальнейшего роста.

Выручка растет быстрее расходов, но убытки остаются высокими

Финансовые показатели Anthropic отражают высокую стоимость развития передовых ИИ-моделей.

В прошлом году годовая выручка компании увеличилась почти в 12 раз и достигла $4,6 млрд. При этом операционный убыток превысил $8 млрд, а операционные расходы составили почти $13 млрд.

Во втором квартале текущего года компания получила выручку в размере $11,5 млрд.

Таким образом, Anthropic демонстрирует быстрый рост коммерческих показателей, но одновременно несет значительные расходы на вычислительные мощности и развитие инфраструктуры.

Оценка компании может превысить $2 трлн

Высокие темпы роста формируют и ожидания инвесторов относительно будущей оценки Anthropic.

В ходе майского инвестиционного раунда компанию оценили в $965 млрд. По данным FT, акционеры рассчитывают, что при размещении оценка может превысить $2 трлн.

Однако раскрытие технологических и финансовых рисков может повлиять на оценку компании потенциальными инвесторами. В частности, рынку предстоит учитывать не только темпы роста выручки, но и стоимость вычислительной инфраструктуры, концентрацию клиентской базы и неопределенность, связанную с развитием передовых ИИ-систем.

Глава Anthropic выступает за более осторожную разработку ИИ

Предупреждения в проспекте IPO соответствуют публичным заявлениям главы компании Дарио Амодеи.

На заседании Совета Безопасности ООН он назвал искусственный интеллект одним из важнейших вопросов глобальной безопасности и заявил о потенциальной угрозе ИИ для человечества.

Ранее Амодеи также призывал сдерживать темпы разработки наиболее передовых моделей и усиливать меры безопасности. По данным Interfax, предложение о взаимодействии в отрасли для замедления разработки и повышения уровня безопасности поддержали глава OpenAI Сэм Альтман и Илон Маск.

Таким образом, Anthropic одновременно строит бизнес вокруг быстрого развития ИИ и публично предупреждает о рисках, которые может создать дальнейшее увеличение возможностей таких систем. Для инвесторов это означает необходимость оценивать компанию не только по темпам роста рынка ИИ, но и по стоимости инфраструктуры, финансовым обязательствам и технологическим рискам.

Андрей Лапин, ТКС.РУ

Может быть интересно

Показать больше