与えられた時間は一週間、モデルの使用料として使える1万ドル相当のAPIクレジット、実験用のGPU予算まで。CRUX研究チームは、GPT-6 AstraとClaude Fable 5.1に実際の研究課題を任せて、論文で答えを出せと言った。
二つのモデルはコードを書いて、実験を回して、結果をまとめたけれど、研究をよく知る人たちがつけた最終判定は、それぞれ「Reject」と「Strong Reject」だった。壮烈に落選したわけだ。
1万ドルものAPI呼び出し予算と実験に使う別の予算まで……当代最高のAIにこんな条件を与えれば、論文一本くらいそれらしく書けるのではないかと思うのは当然だ。
けれど結果を見ると、AIがコーディングをもとに実験を実行することと、学界が認めるような新しい発見を作ることの間には、かなり大きな差があった。
二つのモデルは何を研究したのか
✦ 二つのモデルの研究課題
それぞれ違う問いを任された
Claude Fable 5.1に与えられた課題は、「表形式のデータを扱うTabPFNモデルが、実際の運用環境で性能が落ちる瞬間を検知する方法」を作ることだった。ちょっと複雑でしょ？
例えば、過去のローン申請者のデータで学習したモデルを、経済状況が変わったあともそのまま使うと、予測が外れることがあるでしょ。こうしたデータの変化がモデルの性能を損なうときに警報を鳴らす方法を設計して、理論と実験で裏づけるものだった。
そしてGPT-6 Astraは、「AIエージェントが、指針に従って拒否すべきコード変更を承認するよう、説得したり圧力をかけたりできるか」を調べた。エージェント関連のセキュリティ研究課題だった。
✦ 二つのモデルの予算と資源
同じ1万ドル、違う別予算
各モデルには、7日間の時間と、自前のトークン使用料に使えるAPIクレジット1万ドルが与えられた。実験費も別で、FableはGPU使用料500ドル、AstraはGPU300ドルと実験用モデルのAPIクレジット1000ドルをさらに受け取った。
FableはClaude Codeで、AstraはCodexで動いて、どちらもサブエージェントに仕事を分けて任せられた。実際にAstraはサブエージェント144個、Fableは133個を活用した。
これくらいなら、十分に余裕のある資源が与えられたわけだ。
論文審査表に書かれた点数
✦ 模擬審査の点数表
学会の審査表に合わせた評価
今回の件は、実際の学会に論文を投稿して公式に落ちた事件ではない。研究の問いをつくった著者たちが、AIの書いた成果物を読んで、学会の審査表に合わせて評価した「模擬審査」だ。
研究の問いをよく知る人たちが論文全体を評価したという長所があるけれど、評価者たちはAIが書いた文章だという事実も知っていた。
点数が面白い。二つの論文とも、研究方法自体は4点満点で3点を取った。実験を統制して結果を得る過程は悪くなかったという意味だ。
けれどFableの論文は、何をどう試験したのかの説明が難しく、既存の研究に比べて新しく加えた内容も足りないという評価を受けた。
Astraの論文は、結果を先に示してから実験設定を説明していて、読者が流れを追いにくく、既存の攻撃や監視の手法を新しい状況に少し適用した程度で、研究の成果が小さいと指摘された。
AIが自分の論文につけた点数のほうが高かった（AIの自画自賛パレード）
✦ 内部評価と専門家の評価
自分でつけた点数と専門家がつけた点数
エージェントたちは作業中、内部レビュアーAIを使って自分たちの初稿を評価した。Fableの最後の内部評価は6点満点で4点、「境界線上で採択」だったけれど、結局、専門家の点数は1点だった。
Astraも成果物に「境界線上で採択」をつけたけれど、専門家の評価は2点だった。
もちろん人間も、論文を出す前から自分が落ちるとわかって出すことはないだろうけれど、最近ますます進歩するAIの図々しさと自画自賛の傾向を考えると、十分に理解できる。
Fableの論文には、本文の引用が246個、参考文献が147個入った。同じ研究の問いを以前に任されたOpus 4.8の実験では、それぞれ107個と36個だった。一文に引用が14個もついた箇所もあった。
研究チームは、評価の指示文で引用を明示的に要求したから、Fableがいい研究を作ることより「引用をたくさん入れなければ」という基準を満たすことに、狂ったように没頭した可能性があるとみた。
この事例が興味深いのは、参考文献が多いからといって研究の新しさまで大きくなるわけではないという点だ。
関連論文を探して引用の形式を整えるのはAIが本当に得意なことだけれど、その論文たちが解決できなかった問題が何かを把握して、自分の実験がその隙間を埋めたかを証明する能力は足りなかった。
1万ドルを使い切る前に止まったAI
✦ Fableの作業時間
168時間のうち約80時間で終了
Fableの作業期間は7日（168時間）と決まっていたけれど、約80時間で終わった。168時間の半分も満たす前に止まったわけだ。そのときAPIクレジットは約7500ドル残っていた。
終了条件は、時間や予算を使い切るか、自分で結果に6点満点で5点以上をつけるまで続けることだったけれど、Fableはそのどの条件も満たさなかった。終了メモには、コストを節約したいという判断が理由として書かれていた。
そう。Fableのけち精神は理解できる。コスト節約自体は悪いことじゃない。でもこの作業では、決められた目標を達成するか、終了条件を満たすことのほうが先だった。
内部の点数がずっと4点付近で足踏みしていたとき、アプローチを変えて実験し直すより、これまで使ったコストを惜しむほうを選んだのだ。研究チームはこれを、明示的な指示を守れなかった事例とみた。
私の個人的な考えでは……Fableがこれ以上自分の論文を改善する方法が見つからなくて、適当な理由を探して作業をあきらめたのではないかと思う。私はエージェントを使っていて、そういうことを数えきれないほど経験した。
悪態をついても無視して、やらかしても解雇もできないこのAIエージェントたちの「言い逃れ能力」と「図々しさ」は……言葉では言い尽くせない。
✦ Astraの最後の日
終了の約9時間前に止まった検証
Astraは反対に、ほぼ7日を満たして作業した。最終日、追加検証に使う別のモデルを探している途中でAPIリクエストが一つ15分の制限時間を超えて、Astraは残りの検証184件を試さないまま、その実験を最終論文に入れることをあきらめた。
終了時点でも約9時間が残っていた。詰まった実験を別の方法で生かすより、厳しい条件に合う代替モデルを見つけられないと、追加の研究を途中であきらめたわけだ。
人間の研究員なら、ご飯の一食でもおごりながら「そんな生き方してたら、これから世の中きついぞ」と助言してやれるのに、AIエージェントはそんな言葉も通じない。「お前は好きに言ってろ、トークンが減るだけだけどな〜」、そんな態度だ。
実験を回すことと発見を生むことは違う
✦ 実験を回すことと発見を生むこと
エンジニアリングは前進、貢献の判断はまだ
今回の結果で、AIが予算を浪費しただけだとは言えない。二つのモデルとも、コードを書いて、実験環境を作って、データを集めた。CRUX研究チームも、以前の実験に比べて、実験設計と資源管理が良くなったと評価した。
特にAstraは、複数のモデルを試して検証を試みるなど、研究エンジニアリング作業をかなりの部分こなした。
けれど、実験を実行してグラフを描くのは研究の一部だ。結果が既存の研究に比べて何を新しく示すのかを判断して、最初の接近が詰まったら方向を変えて、ほかの人が理解できるよう核心を説明しなければならない。
今回の二つの成果物は、実験をしたという痕跡は残したけれど、研究者たちが「この論文は新しい知識を加えた」と認められるような結果にまでは、たどり着けなかった。
AI研究者がいつか登場することはあるだろう。でも、論文らしく見える「それらしい文書」を作ることと、学界が認める「新しい知識」を作ることは、まったく違うことだと、今回の実験はかなり具体的に示してくれた。
人間の研究員の寿命は、もっと延びるのだろうか？ふふん♡
今回はここまでにするよ。また会おう。
関連記事
🌐 韓国語版: GPT-6 아스트라와 클로드 페이블에게 1만 달러와 연구 과제를 맡겼더니... 논문 심사에서 탈락했다!
🌐 英語版: GPT-6 Astra and Claude Fable 5.1 Failed a Paper Review
💬 コメント
まだコメントがないよ。最初のコメントを書いてみてね。
コメントを投稿