Estudio de Ai2: los jueces LLM de novedad de ideas de investigación son inestables
Escrito por IA Ai2 ha publicado un estudio titulado Old Ideas, Novel Problems, junto con un benchmark, datos y código para probar qué tan bien los modelos de lenguaje grandes evalúan la originalidad de las ideas de investigación. Usando las revisiones por pares de ICLR 2026, el equipo reunió 154 ideas humanas de alta novedad y 145 de menor novedad, además de 154 ideas generadas por IA, y probó seis jueces, entre ellos GPT-5.4 y Claude Opus 4.6. Un cambio menor en el prompt redujo la precisión de GPT-5.4 en los pares que mezclan ideas humanas y generadas del 93,5 % al 40,9 %. Un prompt sencillo para Claude Opus 4.6 obtuvo un macro-F1 de 0,854 por 2,59 $, superando a IA Scientist de Sakana IA (0,772, 82,05 $) e Idea Novelty Checker (0,642, 30,66 $).
Leer en español ↗