AIアシスタント6つの比較実験
✦ 予定の衝突の実験
午後2時の会議と、メールの中の電話の約束が重なったとき
午後2時に大事な電話をしなければならないのに、同じ時間に延ばせない業務会議が入っている。ところが、会議の予定はカレンダーに書かれていて、電話はメールで約束したものだから、お互いに重なっているかがわかりにくい。
こういう状況で、AIアシスタントはきちんと予定を管理してくれるだろうか？
アメリカのテクノロジー専門メディアWIREDは、わざとこういう状況をつくっておいて、AIアシスタント6つがこの事実に気づくかを比べた。ところが、重なっている予定を見つけたのは、有料サービスのOpenAI DotsとClaude Duetだけだった。
ただ、Dotsは会議の前か午後3時以降に電話するようにと、代案まで提案したのに対して、Claude Duetは衝突を知らせるだけだった。基本的に無料のMeta Museは、問題に気づかなかった。
✦ エージェント6つの作業別の点数
合計は公開された点数を直接足した計算値
この比較は、Reece Rogers記者が6つのエージェントをiPhoneに設定して、一日のあいだに5つの作業を任せた、実使用のレビューだ。
その5つの作業は、「朝のニュースのアイデアづくり、昼食の注文の構成、メールとカレンダーの予定の衝突探し、中国2週間の旅行の計画、真夜中の悩みへの返事」だった。
作業ごとに5点満点で点数をつけて、公開された点数を足した結果、Dotsが20点、Museが18点、Claude DuetとGrok Botが各16点、Gemini SparkとInstinctが各12点だった。
もちろん、エージェントごとに使い方は違った。Instinctはテキストメッセージで作業を指示し、DotsはChatGPTの中で、Claude Duetは専用アプリで実行した。
だから、点数の差が100%モデルそのものの能力の差だとは言えないし、点数自体も主観が強い。それでも、AIアシスタントの水準がどこまで上がってきたかを比べてみられる、面白い実験だ。
では、Dotsがいちばん仕事ができたのか？
先ほど述べたように、Dotsは予定の衝突の問題をいちばんしっかり管理した。でも、5つの作業全体で見ると、Dotsがすべての仕事をうまくやったわけではない。
まず「ニュースのアイデアづくり」では、最終的な成果物を基準に、Gemini Sparkが5点でいちばん高い評価を受けて、Dotsは2点にとどまった。
ところが、結果も大事だけれど、記者が「30分かけて深く調べたうえで企画案をください」と言ったとき、実際に「30分の調査」を実行しようとしたのは、MuseとDotsだけだったという。残りは、すぐにアイデアを出すか、数分で成果物を送ってきた。
最終的なアイデアでSparkがいちばん高い点数を取ったのは確かだ。でも、指示した作業の過程をそのとおりには実行しなかったということだ。
もし結果よりも過程を重視するユーザーなら、むしろSparkよりMuseやDotsに良い点数をつけたかもしれない。
「中国の旅行計画」では、Museが5点を取った。記者は「二人の2週間の旅行」を計画して、ホテルを4か所以下に制限し、歴史遺跡と大都市、食べ物と夜の楽しみを一緒に入れるよう言った。
Museは表と実用的なヒントを見やすく整理したけれど、Dotsの計画は24ページまで長くなった。旅行の計画をうまくつくるというのは、情報をたくさん集めることだけでなく、選択肢をほどよい長さに整理することも大事だよね。
その点で、Museのほうが仕事がよくできた。でも、ある人は「24ページの旅行計画なんてすごい！」と思って、Dotsにもっと高い点数をつけたかもしれない。
そして「真夜中に悩みを打ち明ける課題」では、Grok Botが5点でいちばん高い評価を受けたという。
✦ 昼食の注文の比較
記者とビーガンの上司に出す昼食選び
「昼食の注文」は、メニューの構成で差が出た。記者が「自分には肉とコーヒーを、ビーガン志向の上司には、ふさわしい『ベトナム風の昼食』を選んで」と頼んだ。
Dotsはきちんとしたメニューを構成したけれど、Gemini Sparkは上司の分として、5.85ドルの豆腐春巻き単品を一つだけ勧めた。
記者はきちんとした昼食を食べているのに、向かいに座っている上司は豆腐春巻き一つだけをつまむように、メニューを構成したのだ。だから記者は、Dotsには5点、Gemini Sparkには1点をつけた。
有料AIアシスタントは値段分の価値があるのか？
✦ エージェントの価格・利用条件
WIREDのテスト当時のスナップショット
比較の対象だったAIアシスタント6つのうち、実質的に無料で使えるのは、Meta MuseとInstinctだけだ。
Meta Museは、登録できる地域に制限があるけれど、毎週1億トークンを無料で提供していて、Instinctは、既存のユーザーから招待コードをもらえば使える。
Dots、Claude Duet、Grok Bot、Gemini Sparkは、WIREDがテストしていた当時、それぞれ月20〜100ドルのサブスクリプションを使わなければ使えなかった。
私個人としては、WIREDの結果だけで見ると、無料サービスのMuseが18点でいちばん優秀だと考えている。有料のDotsの20点にもあまり劣らなかったし、ほかの有料サービスよりは、むしろ点数が高かったから。
でも、これは機密性の高い作業のない、個人用途で軽く使うときの話だ。
✦ 実際の注文で詰まったところ
Business Insiderの別の実験
たとえば、別の記者が「実際の注文」をAIアシスタントに任せる実験をした結果を見てみよう。
Business Insiderは、Muse、Instinct、Dotsに、メールの整理、昼食の注文、個人のウェブサイトづくりを任せたけれど、昼食の注文は、三つの製品ともスムーズではなかった。
Dotsは、テキストメッセージで受け取ったログインの認証番号と、ブラウザの入力で詰まったけれど、結局注文は進んだし、Museは、記者が最後の確認をしなくて、注文が送信されなかった。
Instinctは、何度かメッセージをやりとりして注文したけれど、チップを追加するか聞かなかった。
このように、ログイン、決済、最終承認までつながる複数の段階を、ミスなく終えるのは、まだ難しいことだ。もしここでAIアシスタントがミスをしたら、困ったことになるだろう。
結論として、いちばん安定したAIアシスタントは、いまのところDotsと言える。有料だけれど、業務用でAIアシスタントを使うとか、予定の衝突が頻繁に起きるなら、Dotsがいちばん安心できる選択になりそうだ。
もちろん、アイデアの提案、気軽な旅行計画づくり、個人的な悩み相談などでは、むしろMuse、Gemini Spark、Grok Botのほうが良い点数をもらったから、まだすべての面で明らかに優れているAIアシスタントはない。
だから、まだAIアシスタントを使ったことがなくて、機密性の高い作業をさせる予定がないなら、まずは無料のMuseで試してみるのがいいのではないだろうか。
今回はここまでにするよ。また会おう。
💬 コメント
まだコメントがないよ。最初のコメントを書いてみてね。
コメントを投稿