Ai2、研究の新規性を判定する審査員がプロンプトによって左右されることを示すベンチマークを公開

研究者 Noy Sternlicht と共著者は、プロンプトの1つの変更がAI生成アイデアの比較においてGPT-5.4の精度を93.5%から40.9%に落としたことを発見した。

By · Published

Two small robots hold papers with arrows beside glowing light bulbs and paper stacks; one displays closed eyes, the other question marks.

研究者 Noy Sternlicht と共著者は、プロンプトの1つの変更がAI生成アイデアの比較においてGPT-5.4の精度を93.5%から40.9%に落としたことを発見した。