Результаты оценки

Это функция, которая находится в стадии разработки.

Hub предоставляет децентрализованную систему для отслеживания результатов оценки моделей. Наборы данных бенчмарков содержат таблицы лидеров, а репозитории моделей хранят оценки, которые автоматически отображаются как на странице модели, так и в таблице лидеров соответствующего бенчмарка.

Наборы данных для бенчмаркинга

Репозитории датасетов могут быть определены как Бенчмарки (например, MMLU-Pro, HLE, GPQA). Они отображают тег «Benchmark» и автоматически агрегируют результаты оценки из репозиториев моделей по всему Hub, формируя лидерборд лучших моделей.

Результаты оценки модели

Оценки за evaluation хранятся в репозиториях моделей в виде YAML-файлов в папке .eval_results/. Эти результаты:

• Отображаются на странице модели со ссылками на рейтинг бенчмарков
• Сводятся в таблицы лидеров набора данных для бенчмаркинга
• Можно отправлять через PR и помечать как «предоставленные сообществом»

Добавление результатов оценки

Чтобы добавить результаты оценки к модели, вы можете отправить PR в репозиторий модели с YAML-файлом в папке .eval_results/.

Создайте файл YAML в .eval_results/*.yaml в вашем репозитории модели:

- dataset:
    id: cais/hle                  # Required. Hub dataset ID (must be a Benchmark)
    task_id: default              # Required. ID of the Task, as defined in the dataset's eval.yaml
    revision: <hash>              # Optional. Dataset revision hash
  value: 20.90                    # Required. Metric value
  verifyToken: <token>            # Optional. Cryptographic proof of auditable evaluation
  date: "2025-01-15"              # Optional. ISO-8601 date or datetime of when the eval was run (defaults to git commit time)
  source:                         # Optional. Attribution for this result, for instance a repo containing output traces or a Paper
    url: https://huggingface.co/spaces/SaylorTwift/smollm3-mmlu-pro  # Required if source provided
    name: Eval traces             # Optional. Display name
    user: SaylorTwift             # Optional. HF username/org
  notes: "no-tools"               # Optional. Details about the evaluation setup (e.g., "tools", "no-tools", etc.)

Или, только с обязательными атрибутами:

- dataset:
    id: Idavidrein/gpqa
    task_id: gpqa_diamond
  value: 0.412

Результаты отображают значки на основе метаданных в файле YAML:

Для получения подробной информации о формате этих данных обратитесь к спецификации Eval Results.

Вклад сообщества

Любой может отправить результаты оценки для любой модели через Pull Request:

1. Перейдите на страницу модели, нажмите на вкладку «Community» и создайте Pull Request.
2. Добавьте файл .eval_results/*.yaml с вашими результатами.
3. Пока PR открыт, на странице модели он будет отображаться как «предоставлен сообществом».

За помощью в оценке модели обратитесь к руководству Оценка моделей с помощью Inspect. Журналы оценки от Inspect можно записывать непосредственно в HF Storage Buckets.

Оценки сообщества отображаются, пока PR открыт. Если оценка оспаривается, автор модели может закрыть PR, чтобы удалить её. Цель состоит в том, чтобы прозрачно демонстрировать существующие данные оценки, одновременно двигаясь к полностью воспроизводимому стандарту с помощью верифицированных оценок.

Скрытие моделей от рейтинга

Разработчики бенчмарков могут скрыть модель из своего рейтинга, например, если они оспаривают её заявленные результаты:

• На странице набора данных для бенчмаркинга сопровождающие могут использовать переключатель на каждой строке рейтинга, чтобы скрыть или показать модель. Скрытые модели перечисляются в меню, чтобы их можно было восстановить позже.
• Скрытие применяется к модели во всех задачах бенчмарка.
• Скрытые модели удаляются с публичного рейтинга, а оставшиеся модели пересортировываются.
• На странице модели результаты этого бенчмарка больше не отображаются публично.

Регистрация бенчмарка

Чтобы зарегистрировать ваш набор данных как бенчмарк:

1. Создайте репозиторий датасета, содержащий ваши данные для оценки
2. Добавьте файл eval.yaml в корень репозитория с конфигурацией бенчмарка, соответствующей спецификации, описанной ниже.
3. Файл проверяется при отправке
4. (Beta) Свяжитесь с нами, чтобы мы могли добавить вас в список разрешённых.

Примеры можно найти в этих бенчмарках: GPQA, MMLU-Pro, HLE, GSM8K.

Спецификация Eval.yaml

Файл eval.yaml должен содержать следующие поля:

• name — Человекочитаемое отображаемое имя бенчмарка (например, "Humanity's Last Exam").
• description — Краткое описание того, что измеряет бенчмарк.
• evaluation_framework — канонический идентификатор фреймворка оценки для этого бенчмарка. Это перечисляемый тип, который поддерживает команда Hugging Face. Добавьте свой вариант в список здесь. Для каждого бенчмарка поддерживается ровно один фреймворк.
• tasks[] — список задач (подрейтингов), определённых этим бенчмарком (см. ниже).

Обязательные поля в каждом элементе tasks[]:

• id — Уникальный идентификатор задачи (например, "gpqa_diamond"). Одна бенчмарк может определять несколько задач, каждая из которых формирует собственный рейтинг. Вы можете выбрать идентификатор рейтинга для каждой задачи.

Необязательные поля в каждом элементе tasks[]:

• config — Конфигурация набора данных Hugging Face для оценки (например, "default"). По умолчанию используется конфигурация по умолчанию для набора данных.
• split — Раздел набора данных Hugging Face для оценки (например, "test"). По умолчанию "test".

При установке evaluation_framework: inspect-ai также необходимо задать следующие поля:

• field_spec — Спецификация входных и выходных полей. Состоит из подполей input, target, choices и необязательного input_image. Подробнее см. в документации.
• solvers — решатели, используемые для перехода от входных данных к выходным с помощью ИИ-модели. Это может быть как простая системная подсказка, так и циклы самокритики. Подробности см. в документации.
• scores — Используемые оценщики. Оценщики определяют, насколько успешно решатели нашли правильный вывод для целевого значения, заданного в наборе данных, и в какой степени. Подробности см. в документации.

Минимальный пример (только обязательные поля):

name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: math-arena

tasks:
  - id: MathArena/aime_2026

Расширенный пример:

name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: "math-arena"

tasks:
  - id: MathArena/aime_2026
    config: default
    split: test

Расширенный пример (специфичный для "inspect-ai"):

name: Humanity's Last Exam
description: >
  Humanity's Last Exam (HLE) is a multi-modal benchmark at the frontier of human
  knowledge, designed to be the final closed-ended academic benchmark of its
  kind with broad subject coverage. Humanity's Last Exam consists of 2,500
  questions across dozens of subjects, including mathematics, humanities, and
  the natural sciences. HLE is developed globally by subject-matter experts and
  consists of multiple-choice and short-answer questions suitable for automated
  grading.
evaluation_framework: "inspect-ai"

tasks:
  - id: hle
    config: default
    split: test

    field_spec:
      input: question
      input_image: image
      target: answer

    solvers:
      - name: system_message
        args:
          template: |
            Your response should be in the following format:
            Explanation: {your explanation for your answer choice}
            Answer: {your chosen answer}
            Confidence: {your confidence score between 0% and 100% for your answer}
      - name: generate

    scorers:
      - name: model_graded_fact
        args:
          model: openai/o3-mini