LEMON переносит мониторинг галлюцинаций между языковыми моделями
Авторы нового препринта проверили монитор на 16 моделях: он использует карты внимания и не требует обучения заново для каждой модели.
Источник: arxiv.org
Материал подготовлен с использованием ИИ. Сведения и выводы следует проверять по указанным первоисточникам.
15 октября 2026 года на arXiv появился препринт о LEMON — мониторе нежелательного поведения языковых моделей. Авторы предлагают анализировать карты внимания с помощью графовой нейросети и переносить такую проверку на новые модели без дополнительного обучения монитора.
В эксперимент вошли 16 моделей и шесть наборов данных с галлюцинациями и jailbreak-поведением. Авторы сообщают выигрыш до 14 пунктов ROC-AUC относительно сильнейшего сравнительного метода. Архитектура учитывает перестановки голов внимания и различия глубины; оценка может обновляться после токена или окна токенов.
Перенос проверки важнее одного рекорда
Интерес здесь представляет разделение двух задач: создать хорошую модель и независимо заметить её ошибку. Если монитор действительно переносится между архитектурами, смену основной модели можно проверять без полного повторения разметки. Однако в прикладном выборе сначала стоит выяснить, какие именно ошибки он замечает и сколько ложных тревог создаёт. Общий показатель качества сам по себе не отвечает на эти вопросы.
Отдельное условие — доступ к внутренним данным. Для команды, использующей только внешний API, описание метода ещё не означает готового способа подключить дополнительную защиту. До принятия решения нужно сопоставить необходимые сигналы с реально доступным интерфейсом, а стоимость мониторинга учитывать отдельно от стоимости генерации.
Результат с ограниченной областью действия
Работа пока имеет статус препринта. Максимальные 14 пунктов нельзя выдавать за среднее улучшение для всех моделей, а хороший результат на выбранных наборах — за гарантию обнаружения любой опасной генерации.
Разумное продолжение проверки — заранее определить собственные типы отказов, сравнить монитор с простыми контрольными методами и отдельно проверить перенос на незнакомые данные. Тогда исследование станет основанием для конкретного инженерного решения, а не универсальным обещанием безопасности.
Текст подготовлен с помощью ИИ; факты сверены с первоисточником.
Обсуждение
Перейдите к комментариям, чтобы задать вопрос или добавить полезное уточнение.