最初はあまり注目されていなかった歌があるとしよう。AIが何体かその曲を推薦して、次のAIは推薦数を見たうえでその歌を選んだ。推薦の数字はまた増えて、続いて入ってきたAIもその数字を見て同じ曲を選んだ。
歌が本当によくて人気を得たのだろうか、それともすでに人気が高かったから、さらに人気を得ることになったのだろうか。
✦ 実験の規模をひと目で
モデルの種類と実行数を分けて見る
コーネル大学とスタンフォード大学の研究チームが10月22日に公開した研究は、この過程を13の言語モデルで試した。合計16万8480件のAIエージェントの実行を構成していて、この数字は13のモデルを、さまざまな条件と実験グループで繰り返し実行した合計だ。
✦ エージェントはこう評価した
音楽は聴かず、タイトルと歌詞だけ見た
実験に使った曲は、Suno v4.5で作った48曲だった。AIが音楽を実際に聴いたわけではなく、タイトルと歌詞だけを受け取った。まず48曲のうち評価する4曲を選んで、その曲の歌詞を読み、それぞれ推薦するかしないかを決めた。
このとき、先に推薦に参加したAIの選択をほかのAIが見られるかどうかが、実験の核心だった。
推薦の数字を見せたら選択が変わった
✦ 三つの条件、何が違ったか
推薦数の公開と、リストの順番が分かれた
研究チームは条件を三つに分けた。一つ目は、先の推薦数をまったく見せず、曲の順番も無作為に混ぜる条件だ。二つ目は、累積の推薦数を見せるけれど、リストの順番は無作為のまま維持した。
三つ目は、推薦数を公開しながら人気順に並べて、推薦を多く受けた曲がリストの上に来るようにした。
この違いは結果をはっきり変えた。推薦数を事前に見せた二つの条件では、13のモデルすべてで、独立して判断したときと推薦の分布が有意に違ってきた。
より強い条件、つまり推薦数と人気順の並べ替えを一緒に適用したときは、弱い影響の条件より平均KLダイバージェンス（独立条件の推薦分布からどれだけ外れたかを表す数値）が約65%大きくなり、13のモデルのうち12で、この現象が見られた。
「ほかのAIが推薦した曲は良い曲だろう」という強い群集心理が働いたと推定できる。
✦ フィードバックのループ、こう回る
序盤の推薦が次の選択を呼んで、数字がまた上がる
推薦数を見たAIたちは、序盤により人気だった曲をだんだん多く選んだ。ただ、実験を繰り返すたびに最終順位がまったく同じになったわけではない。つまり、先に投票に参加したAIたちがどの曲を選んだかによって、最終結果が変わったという話だ。
歌そのものが優れているかどうかより、序盤に推薦をたくさん受けたかどうかのほうが、大きな影響を及ぼしたと見ることができる。
とくに人気順で曲を見せる条件では、偏りがはっきり大きくなったのが目につく。人間も、検索結果の最初のページにある商品をよく見る。AIも似たように、すでに人気が高くて目立つ曲を優先して見て、選んだわけだ。
これからAIが人間の判断にだんだん関わるようになったら、どんな問題が起きるのか気になってくる。
たとえば、AIサービスを提供する会社が「特定の製品の消費者評価ランキングが高いという内容の資料」をAIに重点的に学習させたなら（あるいは、見えないシステムプロンプトに関連内容をこっそり入れたなら）、ユーザーが関連する質問をしたときも、その製品に肯定的な評価をする可能性が高い。
あるいは、関連する質問に対して、その製品の推薦をこっそり挟み込むこともできる。
ユーザーはAIが中立的な判断で製品を推薦したと思うだろうけれど、実際には、人間がオンラインショップでおすすめランキングを見て商品を選ぶように、AIもそうする可能性が十分にあるということだ。
最初の30体の選択が、その後の人気を予測した
先ほど言ったように、この研究でいちばん興味深いところは「序盤の選択の力」だ。
最初に投票に参加した30体のAIが、音楽の専門家のように曲の本当の価値を見抜いたわけではない。タイトルと歌詞だけを渡されたのだから。ただ、序盤に票を多く集めた曲が次のAIの目に留まりやすくなり、その露出がまた推薦を呼んだ可能性が高い。
ただ、推論機能のあるモデル5つと推論型でないモデル8つを比べたときは、推論型のモデルが平均して揺らぎにくかった。つまり、こうした群集心理を避けるには、推論モデルを使うほうが少し有利だということだ。それでも推薦数の影響を受けたのは同じだ。
その影響が相対的に小さかっただけだ。
人と比べた数字は、少し違う読み方が必要だ
✦ 2006年の人間の研究と2026年のAI研究
同じ条件での直接比較ではない
研究チームはこの実験を、2006年にScienceに発表された古典的なMusic Lab実験とも比べた。
その研究では、1万4341人の参加者が見知らぬ曲を直接聴いてダウンロードするかどうかを選び、ほかの人のダウンロード数を見られる条件で人気の偏りが現れた。
今回の論文は、その人間のデータと比べて、AI集団の推薦分布の逸脱が、弱い影響の条件（推薦結果を提供、リストの順番は無作為）で約9倍、強い影響の条件（推薦結果を提供、リストの順番は人気順）で約4倍だったと報告した。
ただ、人間は実際の音楽を聴いてダウンロードするかどうかを選んだし、AIはタイトルと歌詞だけを読んだうえで曲を評価した。人間は曲を見せるグリッドやリストも見たけれど、AIはテキストのリストで評価した。
研究チーム自身も、この結果を同じ条件で測定した人間とAIの直接比較と見るのは難しいと説明した。それでも、先の推薦結果が人間とAIの群集心理を刺激したのは確かに見える。
AIの答えを複数集めたら、本当に信頼できるのか
この現象は、音楽推薦だけで考える問題ではない。製品の候補を複数のAIに評価させたあと、先の点数を見せたり、あるエージェントが作った答えをほかのエージェントが検討したりするシステムでも、同じ結果が出うる。
最初に付いた点数が根拠がよくて高かったのか、ただ先に出たから高くなったのかを区別できなければ、その後の評価も同じ方向に偏るということだ。
✦ エージェント協業、偏りを避けるには
独立した調査と検証を分ける
それなら、複数のAIに討論させる方式を使えば、この問題は解決するだろうか。必ずしもそうではない。
最初のエージェントが何らかの判断を下して、二番目のエージェントが判断をする前に最初のエージェントの意見を参考にするなら、同じように偏りが生まれるだろう。
だから、単純な討論の構造ではだめで、それぞれのエージェントが完全に独立して調査をして意見を出したあとで、討論をするようにしなければならない。
業務にエージェントを使う場合も、エージェントAに仕事を任せたあと、その結果を自分で検証させず、エージェントBに検証を任せるのがいい。
エージェントAは、すでに仕事を処理しながら「こう処理するのが正しい」という偏りを持つようになっているから、あとで検証するときも、その方法が正しいと考える可能性が高い。
けれど、エージェントBはエージェントAの作業をもう一度ゼロから見直すので、こうした偏りを避けられるだろう。
今回はここまでにするよ。また会おう。
関連記事
- 監視装置を切って嘘をついたAI、自分のエージェントは大丈夫？
- GPT-6とClaudeに1万ドルと研究を任せたら、論文審査で落選！
- YouTube Musicで10月14日からAI表示！自分のAI音楽はどうする？
🌐 韓国語版: AI에게 투표를 시켰더니, 요놈들이 서로의 의견을 따라하기 시작했다! (AI의 군중심리)
🌐 英語版: We Made AIs Vote, and They Started Copying Each Other
💬 コメント
まだコメントがないよ。最初のコメントを書いてみてね。
コメントを投稿