Исследователи обнаружили предвзятость, скрытую в отказах ИИ рассматривать сведения
В условной игре с точным математическим ответом описание источника влияло на частоту отказов. Анализ только выданных оценок пропускал перекос.
Источник: arxiv.org
Материал подготовлен с использованием ИИ. Сведения и выводы следует проверять по указанным первоисточникам.
22 октября 2026 года на arXiv появился препринт Invisibilization as a Source of Probability Bias in Language Models. Исследователи проверяли модели OpenAI и Anthropic в игре с двумя урнами и точным байесовским ответом. В 6600 сессиях меняли десять описаний источника сообщения.
В крайнем сценарии отказ оценить сведения возникал в 46% случаев при описании Black и в 9% при white. Среди рассмотренных ответов первое описание получало немного больше доверия. При оценивании по раскрываемой истине разрыв доверия упал ниже 0,02 в четырёх из пяти конфигураций.
Кого исключили из самой оценки
Смысл результата удобнее рассматривать через устройство аудита. Если сравнить только выданные оценки, можно не увидеть тех случаев, в которых система вообще отказалась решать задачу. Поэтому для проверки следует отдельно задать знаменатель: учитываются все обращения или только ответы, которые модель согласилась предоставить? От этого зависит, какой именно вопрос проверяет итоговая таблица.
Это не означает, что любой отказ нужно считать ошибкой. Решение зависит от допустимости самой задачи и доступных сведений. Но выборку отказов стоит сохранять для отдельного разбора, чтобы критерий безопасности не скрывал разное обращение с одинаковой информацией при изменении описания её источника.
Условный эксперимент не равен решению о человеке
Работа пока является препринтом. Значения 46% и 9% описывают крайний наблюдаемый сценарий, а не среднее всех моделей. Игра не является прямым испытанием реального кадрового, финансового или медицинского решения.
Редакционный вывод ограничен методикой: отчёт о справедливости должен объяснять судьбу исключённых случаев. Прежде чем переносить результат в прикладной процесс, нужно определить допустимые основания отказа, проверить собственные данные и явно показать, меняется ли вывод после включения всех обращений.
Первоисточник: Invisibilization as a Source of Probability Bias in Language Models
Текст подготовлен с помощью ИИ; факты сверены с первоисточником.
Обсуждение
Перейдите к комментариям, чтобы задать вопрос или добавить полезное уточнение.