ИИ эффективнее людей в рецензировании научных статей
Исследование показало, что языковые модели находят больше ошибок в рукописях. Например, отсутствие расчета размера выборки люди отметили в 23% случаев, модели - от 67 до 100%.
Рецензенты-люди нашли 27% крупных ошибок в статьях, даже самая глупая модель нашла в два раза больше.
На картинке главный график новой работы, авторы в основном из ResearchHub Foundation. Взяли три рукописи о клинических испытаниях с теми же 14 ошибками, на которых в исследовании Шротер и соавторов 2008 года проверяли рецензентов-людей: 9 крупных, например нет расчёта размера выборки или выводы не следуют из данных, и 5 мелких. Люди из контрольной группы, без специального обучения, нашли 27% крупных ошибок, а рецензия занимала от 5 до 8,5 часов.
Теперь рукописи отдали 15 моделям, без поиска и интернета, со стандартной инструкцией рецензента медицинского журнала: отрецензировать, как любую рукопись. О вставленных ошибках не предупреждали. Каждая модель нашла больше людей: от 53% крупных ошибок у Haiku 4.5 до 96% у Opus 5.5. Открытые модели, Qwen3.8 27B, DeepSeek V4 Pro, Kimi K3 и gpt-oss-120b, тоже.
Отсутствие расчёта размера выборки люди отметили в 23% случаев, модели — от 67 до 100%. А слабое обоснование самого исследования шесть моделей из 15 замечали реже людей.
Отсюда вывод: ИИ прекрасно применять для рецензирования. У нас клиенты пошли, например, давать ИИ проверять выводы врачей и юристов. Не писать за людей, в проверять то, что написали люди.
Как первый шаг принятия – ок. Потом всё равно и писать будет ИИ.
github.com/rustlab1/llm-peer-review-benchmark
t.me/zvasilchannel/2557
#ИИ #наука #LLM
Еженедельный дайджест
Лучшее из блогов менторов — раз в неделю
- разборы реальных бизнес-ситуаций
- управление, найм, продукт и продажи
- опыт основателей и практиков клуба
- новые материалы менторов за неделю
