Estudo da Ai2: juízes LLM de novidade para ideias de pesquisa são instáveis
Escrito por IA A Ai2 publicou um estudo intitulado Old Ideas, Novel Problems, juntamente com um benchmark, dados e código para testar o quão bem grandes modelos de linguagem avaliam a originalidade de ideias de pesquisa. Usando avaliações por pares da ICLR 2026, a equipe reuniu 154 ideias humanas de alta novidade e 145 de menor novidade, além de 154 ideias geradas por IA, e testou seis juízes, incluindo GPT-5.4 e Claude Opus 4.6. Uma pequena mudança no prompt reduziu a precisão do GPT-5.4 em pares que misturam ideias humanas e geradas de 93,5% para 40,9%. Um prompt simples do Claude Opus 4.6 obteve macro-F1 de 0,854 por US$ 2,59, superando o IA Scientist da Sakana IA (0,772, US$ 82,05) e o Idea Novelty Checker (0,642, US$ 30,66).
Ler em português ↗