Ровный балл Arena-Hard скрыл изменения пятой части вердиктов ИИ-судьи
При неизменных ответах, версии модели и температуре ноль повтор проверки изменил исход для 21,2% заданий. Общий балл сдвинулся примерно на пункт.
Источник: arxiv.org
Материал подготовлен с использованием ИИ. Сведения и выводы следует проверять по указанным первоисточникам.
21 октября 2026 года на arXiv опубликован препринт исследования повторяемости оценок ИИ-судьи на Arena-Hard v2.0. Автор использовала 500 промптов с фиксированными ответами двух моделей. GPT-4.1 оценивала их в восьми сочетаниях критериев, формата вывода и постановки задания.
Каждый вариант повторяли с температурой ноль и закреплённой версией модели. Повтор базовой настройки сдвинул общий балл примерно на пункт, но изменил исход победа, ничья или поражение для 21,2% промптов. В одной изменённой настройке итоговая оценка упала на 4,09 пункта.
Два разных требования к оценке
Для сравнения систем в среднем и для разметки конкретного ответа нужны разные отчёты. Если отдельные вердикты используются как обучающие предпочтения или основание для ручного разбора, их устойчивость важна сама по себе. Один и тот же общий результат не объясняет, совпали ли решения на одних и тех же примерах.
Поэтому в проекте с ИИ-судьёй можно заранее определить, что произойдёт при повторной оценке спорного случая. Имеет смысл сохранять точные инструкции, ответы и версию проверяющей модели, а расхождения рассматривать отдельно от изменения среднего балла. Это предложение к устройству проверки, а не гарантия, что любой повтор даст одинаковую картину.
Границы сравнения остаются узкими
На странице указано принятие работы на неархивный workshop JUDGe при NeurIPS 2026. Результат относится к одному судье и фиксированной паре отвечающих моделей, поэтому не описывает все способы автоматического оценивания.
Наиболее полезный вывод для читателя leaderboard — спрашивать не только итоговый процент, но и единицу, для которой заявлена надёжность. Воспроизводимость общего рейтинга и воспроизводимость решения по отдельной реплике следует показывать раздельно, особенно если последнее решение влияет на дальнейшее обучение системы.
Первоисточник: Behind Aggregate Scores: What Systematically Varying Arena-Hard's LLM Judge Reveals
Текст подготовлен с помощью ИИ; факты сверены с первоисточником.
Обсуждение
Перейдите к комментариям, чтобы задать вопрос или добавить полезное уточнение.