Marktechpost представил «AI2025Dev» — платформу аналитики 2025 года (доступна разработчикам ИИ и исследователям без необходимости регистрации или входа в систему). Она предназначена для преобразования активности в сфере ИИ за год в набор данных, который можно запрашивать. Этот набор данных охватывает выпуски моделей, открытость, масштаб обучения, производительность по бенчмаркам и участников экосистемы.
Что нового в этом выпуске?
Выпуск 2025 года «AI2025Dev» расширяет охват по двум направлениям:
* Аналитика релизов, фокусирующаяся на запусках моделей и фреймворков, лицензии, активности поставщиков и сегментации по уровням функций.
* Индексы экосистемы, включая сборники «Топ-100», которые связывают модели с документами, а также людьми и капиталом, стоящими за ними.
Этот выпуск включает специальные разделы для:
* топ-100 исследовательских работ;
* топ-100 исследователей в области ИИ;
* топ-стартапов в области ИИ;
* топ-основателей в области ИИ;
* топ-инвесторов в области ИИ;
* обзоров финансирования, которые связывают инвесторов и компании.
Эти индексы разработаны так, чтобы их можно было просматривать и фильтровать, а не просто представлять в виде статических редакционных списков, чтобы команды могли отслеживать взаимосвязи между такими элементами, как компания, тип модели, результаты по бенчмаркам и сроки выпуска.
Основные показатели в этом выпуске включают:
* Общее количество релизов: 100.
* Доля открытых релизов: 69%, рассчитанная как совокупная доля релизов с открытым исходным кодом и открытыми весами (44 и 25 записей соответственно), с 31 проприетарным релизом.
* Флагманские модели: 63, что позволяет отделить запуски на передовом уровне от выпусков с более узким спектром.
* Активные компании: 39, что отражает концентрацию крупных релизов среди относительно фиксированного набора поставщиков.
Ключевые выводы 2025: сдвиги на уровне категорий, зафиксированные в виде измеримых сигналов
Слой «Ключевые выводы 2025» выделяет сдвиги на уровне года в виде измеримых срезов набора данных, а не в виде комментариев. Платформа выделяет три повторяющиеся технические темы:
* Принятие открытых весов, отражающее растущую долю релизов с весами, доступными на условиях открытого исходного кода или открытых весов. Это означает, что всё больше команд могут проводить сравнительный анализ, тонкую настройку и развёртывание без необходимости вывода умозаключений от поставщика.
* Системы, использующие агенты и инструменты, отслеживающие рост моделей и систем, классифицированных по использованию инструментов, оркестровке и выполнению задач, а не только по чистому взаимодействию в чате.
* Эффективность и сжатие, отражающие тенденцию 2025 года, когда методы дистилляции и другие методы оптимизации моделей всё чаще нацелены на уменьшение занимаемого пространства при сохранении конкурентоспособного поведения по бенчмаркам.
Масштабы данных для обучения LLM в 2025 году: шкала токенов с привязкой ко времени
Специальная визуализация отслеживает масштабы данных для обучения LLM в 2025 году, охватывающие от 1,4 Т до 36 Т токенов, и привязывает бюджеты токенов к временной шкале выпуска. Платформа позволяет сравнивать, как поставщики распределяют бюджеты на обучение с течением времени, и как экстремальный масштаб соотносится с наблюдаемыми результатами по бенчмаркам.
Бенчмарк производительности: нормализованная оценка и проверка
Раздел «Аналитика» включает представление «Бенчмарк производительности» и индекс интеллекта, полученный на основе стандартных осей оценки, включая MMLU, HumanEval и GSM8K. Цель состоит не в том, чтобы заменить оценки для конкретных задач, а в том, чтобы обеспечить согласованную базу для сравнения выпусков поставщиков, когда публичная отчётность различается по формату и полноте.
Платформа предоставляет:
* ранжированные сводки производительности для быстрого сканирования;
* столбцы для каждого бенчмарка, чтобы выявить компромиссы (например, модели, оптимизированные для кодирования, которые расходятся с производительностью, ориентированной на рассуждения);
* элементы управления экспортом для поддержки рабочих процессов последующего анализа.
Доска лидеров моделей и сравнение моделей: рабочие процессы операционной оценки
Чтобы уменьшить трудности при выборе модели, AI2025Dev включает:
* Доску лидеров моделей, которая объединяет оценки и метаданные для более широкого набора моделей 2025 года.
* Представление для сравнения моделей, которое позволяет проводить параллельную оценку по бенчмаркам и атрибутам с поиском и фильтрацией для составления шорт-листов по поставщикам, типам и открытости.
Эти рабочие процессы предназначены для инженерных команд, которым требуется структурированная поверхность сравнения, прежде чем приступать к интеграции, расходам на вывод или настройке конвейеров.
Индексы «Топ-100»: документы, исследователи, стартапы и инвесторы
Помимо отслеживания моделей, выпуск распространяется на картографирование экосистемы. Платформа добавляет навигационные модули «Топ-100» для:
* исследовательских работ, обеспечивающих точку входа в основную техническую работу, формирующую системы 2025 года;
* исследователей в области ИИ, представленных в виде неранжированного, подкреплённого доказательствами индекса с контекстом, привязанным к конференциям;
* стартапов и основателей в области ИИ, что позволяет связать направление продукта с выпущенными системами;
* инвесторов и финансирования в области ИИ, что позволяет анализировать потоки капитала по категориям моделей и инструментов.
Доступность
Обновлённая платформа доступна сейчас на AI2025Dev, и вам не нужно регистрироваться или входить в систему, чтобы получить доступ к платформе. Выпуск предназначен для поддержки как быстрого сканирования, так и рабочих процессов аналитического уровня, с нормализованными схемами, типизированными категориями и экспортируемыми представлениями, предназначенными для количественного сравнения, а не для описательного просмотра.
1. Какие основные показатели включены в выпуск «AI2025Dev» и как они помогают в анализе экосистемы ИИ?
В выпуске «AI2025Dev» включены следующие основные показатели: общее количество релизов (100), доля открытых релизов (69%), количество флагманских моделей (63), количество активных компаний (39). Эти показатели помогают в анализе экосистемы ИИ, предоставляя количественные данные о количестве и типах релизов, доле открытых проектов, количестве крупных моделей и активности компаний.
2. Какие технические темы выделяются в слое «Ключевые выводы 2025» и как они отражают сдвиги в экосистеме ИИ?
В слое «Ключевые выводы 2025» выделяются три технические темы: принятие открытых весов, системы, использующие агенты и инструменты, эффективность и сжатие. Эти темы отражают сдвиги в экосистеме ИИ, показывая рост доли релизов с открытыми весами, увеличение числа моделей и систем, использующих инструменты, а также тенденцию к оптимизации моделей и уменьшению занимаемого пространства при сохранении конкурентоспособного поведения по бенчмаркам.
3. Какие инструменты и функции предоставляет платформа «AI2025Dev» для сравнения моделей и анализа экосистемы ИИ?
Платформа «AI2025Dev» предоставляет следующие инструменты и функции для сравнения моделей и анализа экосистемы ИИ:
* Доска лидеров моделей, объединяющая оценки и метаданные для более широкого набора моделей.
* Представление для сравнения моделей, позволяющее проводить параллельную оценку по бенчмаркам и атрибутам с поиском и фильтрацией для составления шорт-листов по поставщикам, типам и открытости.
* Навигационные модули «Топ-100» для исследовательских работ, исследователей, стартапов и инвесторов в области ИИ.
Эти инструменты и функции помогают инженерам и аналитикам сравнивать модели, анализировать экосистему ИИ и принимать обоснованные решения о выборе моделей и стратегий развития.
4. Какие данные и информация доступны на платформе «AI2025Dev» для отслеживания масштабов данных для обучения LLM в 2025 году?
На платформе «AI2025Dev» доступны данные и информация о масштабах данных для обучения LLM в 2025 году, охватывающие диапазон от 1,4 Т до 36 Т токенов. Эти данные включают бюджеты токенов, привязанные ко времени выпуска, что позволяет сравнивать, как поставщики распределяют бюджеты на обучение с течением времени, и как экстремальный масштаб соотносится с наблюдаемыми результатами по бенчмаркам.
5. Какие цели и задачи стоят перед разделом «Бенчмарк производительности» на платформе «AI2025Dev»?
Раздел «Бенчмарк производительности» на платформе «AI2025Dev» имеет следующие цели и задачи:
* Обеспечить согласованную базу для сравнения выпусков поставщиков, когда публичная отчётность различается по формату и полноте.
* Предоставить ранжированные сводки производительности для быстрого сканирования.
* Выявить компромиссы между моделями, например, модели, оптимизированные для кодирования, которые расходятся с производительностью, ориентированной на рассуждения.
* Поддерживать рабочие процессы последующего анализа с помощью элементов управления экспортом.
Эти цели и задачи помогают инженерам и аналитикам сравнивать производительность моделей, выявлять компромиссы и поддерживать рабочие процессы анализа.