Sakana AI、論文の中核主張の誤りを73%検出するAI査読システム

何が発表されたか

Sakana AI の論文 Beyond Imitation（TMLR 掲載、arXiv: 2610.11087）が報じられた。従来の AI 査読研究は「人間のレビューにどれだけ似ているか」で評価してきたが、この研究は意図的に仕込んだ誤りを見つけられるかで評価する。

Contradiction Benchmark

• ACL / AISTATS / CVPR / ICML 2025 / NeurIPS 2024 の CC ライセンス論文 257本に、1,164件の矛盾を挿入
• Gemini 2.5 Pro が主張・根拠・手法をナレッジグラフ化し、中核主張からの距離で重大度を定義（距離0が中核主張）。GPT-4.1 がノードを矛盾に書き換え、o3 のジャッジが各レビューを10回採点

Multi-Layered Review（MLR） は既製の Claude モデル3体構成。

• Appendix Agent（Claude Haiku 3.5）：付録から実験・実装の詳細を要約
• Literature Review Agent（Claude Sonnet 4）：Web検索で先行研究の中に位置づける（任意）
• Review Agent（Claude Sonnet 4）：Keshav の3パス読解法に沿って、概要→弱点の詳細批評→最終レビューの3段で出力。PDF を直接渡すため図と数式が保持される

結果

• レビュー4本で中核主張の誤りを 73.43%、全体で 40.95% 検出。既存最良の AgentReview は中核主張 14.81%
• レビュー1本でも 60.79%。コストは1レビュー約 0.47ドル（入力約18.9万トークン）
• 実際の撤回論文211本では、類似一致 26.07%、厳密一致 16.11% にとどまる
• ICLR 2025 提出論文で人間スコアとの相関は 0.586（人間同士は 0.742）

実務への影響

• チェック用途のエージェントは「多段＋役割分担」が効く：単一プロンプトではなく、付録読み・文脈調査・本体レビューに分けた構成が検出率を大きく押し上げている。原稿校閲や仕様書レビューをエージェント化する際の設計指針としてそのまま使える
• 「人間らしさ」ではなく「検出したか」で測る：レビュー系ツールを評価するなら、あらかじめ誤りを仕込んだサンプルを用意して通過率を測るのが現実的。クライアントへの品質説明にも使える
• 合成ベンチマークの数字は実運用では落ちる：仕込んだ誤りで73%、実際の撤回論文で16%という差は、AI検証ツールのベンチマーク値を鵜呑みにできないことを示している
• プロンプトインジェクションは未解決：MLR を含む全ての AI 査読が、隠されたプロンプトインジェクションの影響を受けた。外部から受け取る文書をエージェントに読ませる処理では、指示混入の前提で設計する必要がある

補足

公式発表は未確認。一次情報は arXiv 論文（https://arxiv.org/abs/2610.11087 ）で、本記事の数値は MarkTechPost の解説記事経由。MLR のコードは請求ベースでの提供とされ、公開されていない。