- 27,006
- 46
- 8 Ноя 2022
Новый парадокс корпоративного ИИ ударил по крупным компаниям.
ИИ обещал компаниям экономию, но в крупных технологических командах счёт начал расти быстрее пользы. Microsoft, по данным The Verge , стала отменять большинство прямых лицензий Claude Code и переводить инженеров на GitHub Copilot CLI, хотя всего шесть месяцев назад сама открыла доступ к инструменту для тысяч разработчиков, менеджеров проектов, дизайнеров и других сотрудников.
Claude Code быстро стал популярным внутри Microsoft, но масштаб использования превратился в отдельную проблему. Чем активнее сотрудники запускали ИИ для рабочих задач, тем заметнее росли вычислительные расходы. Отмена лицензий не затронет сделку Microsoft Foundry с Anthropic: соглашение предусматривает инвестиции до $5 млрд в Anthropic, доступ клиентов Foundry к моделям Claude и обязательство Anthropic купить вычислительные мощности Azure на $30 млрд.
Похожая история произошла в Uber. Технический директор компании Правин Неппалли Нага рассказал The Information , что Uber израсходовала весь бюджет на ИИ-инструменты для программирования на 2026 год всего за четыре месяца. До перерасхода компания сама подталкивала сотрудников активнее пользоваться нейросетями и запускала внутренние рейтинги команд по уровню применения ИИ.
Новые отчёты показывают неприятный парадокс корпоративного ИИ: отдельные запросы могут дешеветь, но общий счёт растёт из-за массового внедрения. Вице-президент Nvidia по прикладному глубокому обучению Брайан Катанцаро недавно сказал Axios, что в его команде расходы на вычисления намного превышают затраты на сотрудников.
Компании продолжают поощрять сотрудников использовать нейросети как можно чаще. В Meta* один из работников создал внутренний рейтинг Claudeonomics, где сотрудников сравнивали по расходу токенов Claude, а сотрудники Amazon , по данным Financial Times, начали запускать ИИ даже для ненужных задач, чтобы искусственно поднять показатели использования. Токенами называют небольшие фрагменты текста, которые модель обрабатывает при каждом запросе.
Goldman Sachs прогнозирует, что агентный ИИ может увеличить потребление токенов в 24 раза к 2030 году. По оценке банка, потребители и компании будут расходовать до 120 квадриллионов токенов в месяц, если ИИ-агенты массово войдут в рабочие процессы.
Сами токены должны дешеветь. Gartner ожидает , что к 2030 году инференс большой языковой модели с триллионом параметров будет обходиться поставщикам GenAI более чем на 90% дешевле, чем в 2025 году. Но бизнес может не почувствовать такой экономии: ИИ-агенты тратят больше токенов на каждую задачу, а разработчики сервисов не обязаны снижать цены для клиентов вслед за себестоимостью.
Старший директор-аналитик Gartner Уилл Соммер предупредил, что руководителям продуктов не стоит путать удешевление обычных токенов с доступностью сложных рассуждающих моделей. Другими словами, мощный ИИ может стать дешевле в расчёте на одну операцию, но рабочая задача всё равно обойдётся дороже из-за количества шагов, проверок и промежуточных вычислений.
Расчёт усложняет планы компаний, которые хотят поставить ИИ-агентов рядом с каждым сотрудником. Глава Nvidia Дженсен Хуанг ранее говорил, что однажды на каждого работника компании могут приходиться 100 ИИ-агентов. Если потребление токенов будет расти быстрее, чем падает цена вычислений, цифровые помощники принесут бизнесу не только ускорение работы, но и гораздо более тяжёлый счёт.
<small>* Компания <span class="extremist-highlight" title="Соцсеть признана экстремистской и запрещена на территории РФ">Meta</span> и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.</small>
ИИ обещал компаниям экономию, но в крупных технологических командах счёт начал расти быстрее пользы. Microsoft, по данным The Verge , стала отменять большинство прямых лицензий Claude Code и переводить инженеров на GitHub Copilot CLI, хотя всего шесть месяцев назад сама открыла доступ к инструменту для тысяч разработчиков, менеджеров проектов, дизайнеров и других сотрудников.
Claude Code быстро стал популярным внутри Microsoft, но масштаб использования превратился в отдельную проблему. Чем активнее сотрудники запускали ИИ для рабочих задач, тем заметнее росли вычислительные расходы. Отмена лицензий не затронет сделку Microsoft Foundry с Anthropic: соглашение предусматривает инвестиции до $5 млрд в Anthropic, доступ клиентов Foundry к моделям Claude и обязательство Anthropic купить вычислительные мощности Azure на $30 млрд.
Похожая история произошла в Uber. Технический директор компании Правин Неппалли Нага рассказал The Information , что Uber израсходовала весь бюджет на ИИ-инструменты для программирования на 2026 год всего за четыре месяца. До перерасхода компания сама подталкивала сотрудников активнее пользоваться нейросетями и запускала внутренние рейтинги команд по уровню применения ИИ.
Новые отчёты показывают неприятный парадокс корпоративного ИИ: отдельные запросы могут дешеветь, но общий счёт растёт из-за массового внедрения. Вице-президент Nvidia по прикладному глубокому обучению Брайан Катанцаро недавно сказал Axios, что в его команде расходы на вычисления намного превышают затраты на сотрудников.
Компании продолжают поощрять сотрудников использовать нейросети как можно чаще. В Meta* один из работников создал внутренний рейтинг Claudeonomics, где сотрудников сравнивали по расходу токенов Claude, а сотрудники Amazon , по данным Financial Times, начали запускать ИИ даже для ненужных задач, чтобы искусственно поднять показатели использования. Токенами называют небольшие фрагменты текста, которые модель обрабатывает при каждом запросе.
Goldman Sachs прогнозирует, что агентный ИИ может увеличить потребление токенов в 24 раза к 2030 году. По оценке банка, потребители и компании будут расходовать до 120 квадриллионов токенов в месяц, если ИИ-агенты массово войдут в рабочие процессы.
Сами токены должны дешеветь. Gartner ожидает , что к 2030 году инференс большой языковой модели с триллионом параметров будет обходиться поставщикам GenAI более чем на 90% дешевле, чем в 2025 году. Но бизнес может не почувствовать такой экономии: ИИ-агенты тратят больше токенов на каждую задачу, а разработчики сервисов не обязаны снижать цены для клиентов вслед за себестоимостью.
Старший директор-аналитик Gartner Уилл Соммер предупредил, что руководителям продуктов не стоит путать удешевление обычных токенов с доступностью сложных рассуждающих моделей. Другими словами, мощный ИИ может стать дешевле в расчёте на одну операцию, но рабочая задача всё равно обойдётся дороже из-за количества шагов, проверок и промежуточных вычислений.
Расчёт усложняет планы компаний, которые хотят поставить ИИ-агентов рядом с каждым сотрудником. Глава Nvidia Дженсен Хуанг ранее говорил, что однажды на каждого работника компании могут приходиться 100 ИИ-агентов. Если потребление токенов будет расти быстрее, чем падает цена вычислений, цифровые помощники принесут бизнесу не только ускорение работы, но и гораздо более тяжёлый счёт.
<small>* Компания <span class="extremist-highlight" title="Соцсеть признана экстремистской и запрещена на территории РФ">Meta</span> и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.</small>
- Источник новости
- www.securitylab.ru
