Étude d'Ai2 : les juges LLM de la nouveauté des idées de recherche sont instables
Rédigé par IA Ai2 a publié une étude intitulée Old Ideas, Novel Problems, accompagnée d'un benchmark, de données et de code pour tester la capacité des grands modèles de langage à évaluer l'originalité des idées de recherche. À partir des évaluations par les pairs de l'ICLR 2026, l'équipe a réuni 154 idées humaines à forte nouveauté et 145 idées humaines à nouveauté plus faible, ainsi que 154 idées générées par l'IA, et a testé six juges, dont GPT-5.4 et Claude Opus 4.6. Une légère modification du prompt a fait chuter la précision de GPT-5.4 sur les paires mêlant idées humaines et idées générées, de 93,5 % à 40,9 %. Un prompt simple pour Claude Opus 4.6 a obtenu un macro-F1 de 0,854 pour 2,59 $, devançant IA Scientist de Sakana IA (0,772, 82,05 $) et Idea Novelty Checker (0,642, 30,66 $).
Lire en français ↗