MIT FutureTech проверила ИИ на задачах из 254 теоретических работ
Авторы сравнили модели на вопросах из семи научных областей. Совпадение выводов выросло с 2,8% до 34,6%, но это не оценка всей работы учёного.
Источник: futuretech.mit.edu
Материал подготовлен с использованием ИИ. Сведения и выводы следует проверять по указанным первоисточникам.
13 октября 2026 года MIT FutureTech опубликовала описание работы о возможностях ИИ в теоретических исследованиях. Gabriel Manso, Claudio Mayrink Verdun и Neil Thompson использовали задачи из 254 недавних arXiv-публикаций по семи областям математики, физики и экономики.
По описанию авторов, человеческие ответы не были доступны моделям при решении. Среди моделей выпуска декабря 2024 — апреля 2026 года доля совпавших выводов выросла с 2,8% у o1 до 34,6% у GPT-5.5. Расход в этом эксперименте оценён примерно в 5 долларов за попытку и 15 долларов за успешный случай.
Как определить успех научного помощника
Такая постановка предлагает обсуждать возможности ИИ через конкретную единицу результата. До сравнения полезно решить, что считается успехом: правильный итог, проверяемое доказательство, новый метод или воспроизводимый расчёт. Эти критерии могут требовать разных проверок, поэтому один процент не должен незаметно подменять остальные.
Для исследовательской команды практическая задача — определить место инструмента в собственном процессе. Можно отдельно оценивать поиск подхода, проверку промежуточного шага и разбор ошибки. Такой план позволит понять, какую работу ещё выполняет человек и что именно входит в измеренную стоимость попытки.
Совпадение вывода не описывает весь исследовательский цикл
Источник — описание рабочей статьи на сайте института; рецензируемый журнал не указан. Совпадение результата не равно полному воспроизведению доказательства. Приведённые расходы относятся к эксперименту, а не к текущим тарифам или полной стоимости исследования.
Поэтому вывод о прогрессе стоит сохранять вместе с определением задачи и проверкой неизвестности ответов. Следующий полезный вопрос — насколько результат устойчив при другом выборе проблем и более строгом критерии успешности. Только после этого можно обсуждать, какую часть теоретической работы действительно удалось облегчить.
Первоисточник: AI Disruption and Falling Costs in Theory Research
Текст подготовлен с помощью ИИ; факты сверены с первоисточником.
Обсуждение
Перейдите к комментариям, чтобы задать вопрос или добавить полезное уточнение.