Медицинский экзамен не проверил надёжность рассуждений ИИ и работу со снимками

22 октября 2026 года на arXiv появился препринт о проверке четырёх открытых языковых моделей на испанском медицинском экзамене MIR. Исследователи использовали 1552 вопроса из восьми выпусков и модели размером от 8 до 27 млрд параметров.

Три крупные модели получили результаты, соответствующие примерно первым 600–3000 местам кандидатов. При этом в 13–38% правильных ответов отвергнутый вариант объяснялся клинически несостоятельным доводом. Удаление или подмена сопровождающих изображений не изменили точность. Медицинское дообучение снижало избыточную уверенность ценой точности, не улучшая разделение ошибок по уверенности.

Проверка того, на чём основан ответ

Для чтения подобного результата важно различать три вопроса: выбран ли правильный вариант, верно ли объяснение и повлияло ли изображение на решение. Если интерес представляет именно анализ снимка, одной итоговой точности недостаточно. В план оценки стоит включать изменение визуального входа и заранее описанный ожидаемый эффект.

Также нельзя приравнивать уверенный тон к обоснованности. Для исследовательского сравнения полезно отдельно смотреть, как система объясняет исключение альтернатив и признаёт неопределённость. Даже правильный финальный вариант не снимает вопроса о том, выдержит ли способ рассуждения изменение условий задачи.

Экзаменационный результат не является клиническим допуском

Это препринт об ограниченном наборе экзаменационных вопросов, а не испытание помощи пациентам. Из него не следует разрешение применять модель в клинике или одинаковое поведение на других языках и изображениях.

Практическая ценность новости — в постановке более строгого вопроса к медицинским бенчмаркам. Вместо обсуждения только места в рейтинге можно требовать отдельного отчёта о причинах ответа, ошибках и роли визуальных данных. Решения о диагностике и лечении этот материал не предлагает.

Первоисточник: Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination

Текст подготовлен с помощью ИИ; факты сверены с первоисточником.