Обучение базовых моделей ИИ обходится в сотни миллионов долларов США, хотя ещё пять лет назад счёт шёл на тысячи — и то не всегда.
Согласно отчёту Стэнфордского университета Artificial Intelligence Index Report за 2024 год, США лидирует по количеству известных моделей машинного обучения — 61 ед.
Модель машинного обучения — это приложение искусственного интеллекта (ИИ), позволяющее выявлять какие-либо закономерности и генерировать прогнозы или контент. Основная часть процесса обучения происходит за счёт использования вычислительных мощностей и без участия программиста, поэтому серьёзно помогает сэкономить время. Применение машинному обучению сегодня найдётся в любом крупном бизнесе.
После США по количеству известных моделей машинного обучения идёт Китай — 15 ед. Значительное количество приходится также на Францию — 8 моделей.
Для того, чтобы не приступать к разработке ИИ с нуля, в качестве отправной точки по созданию моделей машинного обучения используются базовые модели. Они отличаются огромными объёмами данных для обучения. Их развитие в последние годы достигло высоких темпов, а их применение имеет неплохие перспективы.
За период с 2019-го по 2023 год по количеству созданных базовых моделей ИИ лидирует Google, на который приходится 40 моделей, следом идут OpenAI (20 ед.) и Meta (19 ед.). Значительное количество приходится также на Microsoft (18 ед.), DeepMind (15 ед.) и университет Цинхуа из Китая (7 ед.).
Между тем, затраты и расходы на обучение ИИ растут в геометрической прогрессии, что вынудило университеты, бывшие традиционно центрами исследования ИИ, прекратить разрабатывать собственные передовые базовые модели.
Epoch AI, исследовательского института ИИ, провел анализ стоимости передовых моделей. Анализировалась продолжительность обучения, а также тип, количество и коэффициент использования оборудования для обучения, с учётом информации из публикаций, пресс-релизов или технических отчётов, связанных с моделями в период с 2017-го по 2023 год.
Ориентировочная стоимость обучения базовой модели Transformer от Google в 2017 году обошлась лишь в 930 долл. США (здесь и далее — с учётом инфляции). В следующем году обучение модели BERT-Large от всё того же Google обошлось в 3,3 тыс. долл. США. Более чем втрое больше, но все ещё относительно немного.
Но вот уже на обучение модели GPT-3 от OpenAI, созданной в 2020 году, пришлось 4,3 млн долл. США, а следующей модели GPT-4, созданной в 2023 году — 78,4 млн долл. США. Google в свою очередь на обучение своей модели ИИ — Gemini Ultra — по оценочным данным потратил уже 191,4 млн долл. США. Космический рост.
Несмотря на всё возрастающие расходы на обучение базовых моделей, такие инвестиции считаются выгодными — ведь модели можно очень долго использовать. На их основе быстрее и дешевле разрабатывать новые модели машинного обучения, и соответственно разрабатывать и создавать всё более совершенные ИИ.