Синтетические респонденты ИИ плохо воспроизвели полные профили ответов людей
Шесть моделей проверили на двух социальных опросах США. Совпадения отдельных процентов оказалось недостаточно для покрытия человеческих профилей.
Источник: arxiv.org
Материал подготовлен с использованием ИИ. Сведения и выводы следует проверять по указанным первоисточникам.
22 октября 2026 года на arXiv вышел препринт Silicon Samples Match the Answers but Not the Respondents о виртуальных участниках опросов. Авторы проверили шесть языковых моделей на двух социальных опросах США и предложили метрику respondent coverage gap для полных сочетаний ответов.
Все шесть моделей оставляли реальные профили непокрытыми. В основных настройках они уступали независимому сэмплированию отдельных ответов из человеческих распределений. Во всех проверенных настройках разрыв покрытия был больше, чем у гауссовской копулы, обученной на человеческих данных.
Одинаковые проценты могут описывать разные выборки
Чтобы понять задачу, можно представить условный опрос из нескольких вопросов. Две выборки способны дать одинаковые доли вариантов по каждому вопросу, но разные сочетания внутри одного человека. Если исследование касается таких сочетаний, сравнивать только отдельные проценты было бы недостаточно. Это поясняющий пример, а не дополнительный результат работы.
Для команды, рассматривающей виртуальных респондентов, полезно заранее определить назначение данных. Один критерий может подходить для предварительной проверки формулировок, но оказаться неподходящим для вывода о группах людей. Выбор метрики должен следовать из исследовательского вопроса, а не из того, какой показатель легче приблизить с помощью модели.
Новый критерий не охватывает все опросные задачи
Работа остаётся препринтом. Два опроса США не позволяют объявить неработоспособными все способы применения синтетических ответов. Измерялось покрытие полных профилей, которое отличается от совпадения отдельных распределений.
Содержательный вывод состоит в необходимости показывать оба уровня проверки, если они важны для задачи. До замены реальной выборки стоит объяснить, какие характеристики сохранены, какие потеряны и как это влияет на предполагаемое заключение. Красивого совпадения сводной диаграммы для такого решения мало.
Первоисточник: Silicon Samples Match the Answers but Not the Respondents
Текст подготовлен с помощью ИИ; факты сверены с первоисточником.
Обсуждение
Перейдите к комментариям, чтобы задать вопрос или добавить полезное уточнение.