Studio Ai2: i giudici LLM per la novità delle idee di ricerca sono instabili
Scritto dall'IA Ai2 ha pubblicato uno studio intitolato Old Ideas, Novel Problems, insieme a un benchmark, dati e codice per verificare quanto bene i modelli linguistici di grandi dimensioni valutino l'originalità delle idee di ricerca. Usando le recensioni peer di ICLR 2026, il team ha raccolto 154 idee umane ad alta novità e 145 idee umane a bassa novità, più 154 idee generate dall'IA, e ha testato sei giudici, tra cui GPT-5.4 e Claude Opus 4.6. Una lieve modifica del prompt ha ridotto l'accuratezza di GPT-5.4 sulle coppie che mescolano idee umane e idee generate dal 93,5% al 40,9%. Un semplice prompt per Claude Opus 4.6 ha ottenuto un macro-F1 di 0,854 per 2,59 $, superando IA Scientist di Sakana IA (0,772, 82,05 $) e Idea Novelty Checker (0,642, 30,66 $).
Leggi in italiano ↗