ワールドモデルって何？
映像生成AIに「森の中を走るキツネを見せて」と頼むと、数秒のクリップが生成される。ところが、映像が終わったあとも森の道が続いて、カメラを回してキツネの横顔を見たり、「ちょっと止まって周りを見回して」と指示したりできるとしたら、どうだろう？
こういうモデルをワールドモデルと呼ぶ。従来の映像生成AIが一本のクリップを完成させるなら、ワールドモデルは、先に登場した物体や空間を覚えていて、それをもとに次の場面を続けてつくる。そして、映像の中の空間を、直接動かして変えられる。
最近公開された、テンセントのHy-Nomasと、Google DeepMindのGenie 4が代表的だ。
テンセントのHy-Nomas
✦ Hy-Nomas、こう公開された
テンセントの公開日程と基本仕様
先に公開されたのは、テンセントのHy-Nomasだ。10月21日に、コードとモデルの重み、オンラインデモが公開されて、27日には技術論文が上がった。
約80億パラメータの拡散モデルが、映像をいくつかの区間に分けてつくり、前の区間の情報はKVキャッシュに保存して、次の区間を生成するときに参考にするという。ユーザーは、テキストで場面や行動を変えられて、カメラの移動経路も指定できる。
基本の推論設定は、720×1280の解像度と、毎秒24フレームだ。
公式デモには、石の柱を登るパンダ、宮殿の壁をよじ登るユキヒョウ、月面基地や古代遺跡のような場面が登場する。最初につくった場所で別の行動を指示したり、カメラを動かしたりすると、すでにできている要素をもとに、次の区間を続けて生成する。
実行環境さえ整っていれば、ユーザーは、公式デモ基準で最大60秒まで、場面をつなげて生成しながら、仮想世界を探検できる。
✦ Hy-Nomas、個人のPCで動かすには
公開されたからすぐ楽に使えるわけではない
ただ、公開されたからといって、すぐに個人のPCで楽に使えるという意味ではない。テンセントが案内する、シングルGPU・低メモリ設定の基準は、VRAM 24GBのRTX 4090だ。
AI制作スタジオのOMNI Labsは、16GBのRTX 5060 Tiでも実行したけれど、LinuxをWSLで構成して、四つの修正作業を経なければならなかった。
テキストエンコーダーをCPUに移して、システムメモリ52GBとスワップ32GBも使った。その結果、5秒の区間一つをつくるのに約6分、10秒分をつなげてつくるのに約13分かかった。
1280×704の解像度、24FPSの無音映像だったのに、この程度だったのだから、私たちが望む高画質の仮想世界を体験するのは、まだ個人のPCでは無理がある。
✦ キツネの森テスト、できたこととできなかったこと
つながりのテストとカメラのテストの結果
速度だけでなく、場面がどれだけうまくつながるかもテストが必要だよね？ OMNI Labsは、ホタルが光る森でキツネが歩く場面を、5秒ずつ二つの区間でつくった。
二つ目の区間で、キツネに立ち止まって周りを見回すよう言うと、動作が変わって、キツネと道、木も自然につながった。カメラの視点に関するテストでも、自然な視点変換に成功した。
ところが、道ばたに光る青い花を新しく咲かせてほしいという命令は反映されなくて、夜のホタルの森も、ふつうの昼の風景に変わってしまった。まだプロンプトを十分に反映できていないのだ。
Hy-Nomasの論文には、モデルを比べた結果もある。280件の事例を、テキストの指示、カメラの移動、二つの入力の交差利用、空間の記憶という四つの領域に分けて、訓練された評価者が結果を比べた。
たとえば、トングがリンゴをつかんで皿に移したり、ヘラでイチゴを切ってからガラスの器に入れたりする場面をつくらせた。
論文に載った比較映像で、Hy-Nomasは、リンゴを持ち上げて皿に移す流れと、イチゴを器に入れる過程をきちんと表現したけれど、一部の競合モデルは、リンゴの色やトングの形を変えたり、ヘラを抜かしたりした。
✦ Hy-Nomasの空間記憶、Genie 3との比較
60個の共通シナリオ、テンセントの独自ベンチマーク
だからといって、すべての項目でHy-Nomasが優れていたわけではない。すでに通り過ぎた場所に戻ったときに、物体と配置がそのまま残っているかを見る「空間記憶の評価」では、GoogleのGenie 3のほうがよかった。
60個の共通シナリオで、Hy-Nomasの勝率は13.3%、引き分けは56.7%、負けは30%だった。
これはテンセントの研究チームがつくった独自のベンチマークの結果で、比較の対象もGenie 4ではなく、以前のモデルのGenie 3だという点も考慮しなければならない。つまりHy-Nomasは立派だけれど、比較モデルよりはっきり優れているとは見がたい。
✦ Hy-Nomasのライセンス、デコーダーは別に見る
商用利用の前に確認する区分
ライセンスの問題もある。とくにこのモデルは、デコーダーのライセンスを別に見なければならない。
Hy-Nomasのコードとコアの重み（DiT）はApache 2.0だけれど、映像をフレームに復元するデコーダーは、NVIDIA PixelUMMをファインチューニングしたモデルだ。
PixelUMMのチェックポイントには、非商用の研究・評価用ライセンスがついている。だから、Hy-Nomasをなんとか個人のPCで動かして成果物をつくり出しても、商用で使うことには制約がある。
GoogleのGenie 4
✦ Genie 4、何が違うのか
リアルタイム操作とオーディオ、そしてアクセス
では、GoogleのGenie 4は何が違うのか？ 韓国時間の10月28日に公開されたこのモデルは、リアルタイム操作とオーディオ生成が強みだという。とくに、衝突や空気力学のような物理現象のシミュレーションを掲げているそうだ。
キーボードで移動してカメラを動かすあいだに、自然言語で天気を変えたり、新しい人物や物体を登場させたりできる。森の風や波の音のような環境音、BGM、登場人物の会話も、一緒に生成する。
Genie 4には、いくつものGeminiモデルがつながっている。まずGemini Omniが、シミュレーションの外見と動きを現実に近づけてくれる。
そしてGemini 3.8 Flashは、場面をずっと観察しながら、ユーザーの目標をいくつもの段階に分けて、各段階がきちんと進んだかを確認する。Googleが公開した例には、UR5ロボットアームが、ピペット（実験用の道具）で液体を実験板に移す場面がある。
Geminiが次の動作を計画してテキストの指示で伝えると、Genie 4がその過程をリアルタイムで描き出す方式で実現されたのだ。
別のロボットシミュレーションでは、Gemini 4 Argonが作業の順序を分けて、Genie 4がそれを場面として実現したりもした。
ただ、残念ながら、Genie 4は誰でも試せるモデルではない。
信頼できるテスターを対象にしたリサーチプレビューで、Google AI UltraのサブスクライバーのProject Genieと、Gemini API・AI Studioの早期アクセスパートナーに広げる日程だけが予告された状態だ。
Hy-Nomasのように、モデルの重みをダウンロードして、ローカルのPCで実行してみることはできないということだ。発表のときも、公開範囲がかなり狭かったし、これからも、Geminiの有料プランのユーザー程度までしかサービスを提供しない可能性が高い。
Genie 4にも限界ははっきりしている。まだ場面の中の物体の形や位置が、時間がたつにつれて変わる現象があって、実際の場所を再現したり、正確なテキストをつくったりするのに難しさがある。
メディアの報道では、一回の連続した相互作用が2分ほどと紹介されたけれど、それだけ生成の長さにも、まだ制約があるのだ。また、Google側も、リアルタイムオーディオの精度は、まだ改善が必要な研究課題だと明らかにした。
おわりに
もしワールドモデルをいますぐ使ってみたくて、持っているグラフィックカードの性能がいいなら、Hy-Nomasをダウンロードして実験してみよう。
また、これからワールドモデルが少しずつ発展していくから、もっとずっと軽く動くワールドモデルも、少しずつ出てくるのではないかと期待している。
今回はここまでにするよ。また会おう。
関連記事
🌐 韓国語版: 영상생성을 넘어, 가상세계를 만드는 AI의 시대가 온다. 텐센트 Hy-Nomas와 구글 Genie 4 등장
🌐 英語版: World Models Arrive: Tencent Hy-Nomas and Google Genie 4
💬 コメント
まだコメントがないよ。最初のコメントを書いてみてね。
コメントを投稿