パナソニックHDとUCLA、スマホ操作エージェント向けワールドモデル

技術関連2026/10/25AI Watch

パナソニックワールドモデルUI操作エージェントEMNLP国内研究

パナソニックホールディングスと米研究拠点、UCLA の研究者が、スマートフォン操作エージェント向けのワールドモデルを開発した。次の画面を画像生成するのではなく、状態変化を自然言語で予測する方式を取る。AndroidWorld のタスク成功率は46.9%から54.3%へ向上した。

何が発表されたか

パナソニックホールディングス、Panasonic R&D Company of America、UCLA の研究者が、モバイル端末上でタスクを実行する AI エージェント向けのワールドモデルを開発した。
次画面の画像を生成する方式ではなく、「ボタンを押すと設定画面が開く」といった状態変化を自然言語で予測する。これにより、時刻・通知・レイアウトなど目標に無関係な要素を無視し、タスクを前進させる操作に集中できる。
学習データ「MobileWorld」は Android 実機の人間の操作ログから構築した約140万件。画面変化の記述が約94.2万件、次状態に関する問答ペアが約54.3万件。
評価用ベンチマーク「MobileWorldBench」を自作し、予測の正確性・網羅性・関連性を測定。Qwen3-VL-8B-Instruct をこのデータでファインチューニングしたモデルが比較手法中で最高スコアを獲得した。
AndroidWorld ベンチマークでは、ワールドモデルなしのベースライン46.9%に対し、適用時は54.3%までタスク成功率が向上。
成果は2026年10月24〜29日にハンガリー・ブダペストで開催される EMNLP 2026 で発表予定。

「画面を画像として理解させる」より「状態遷移を言語で予測させる」ほうがコストと精度の両面で有利、という結果は、ブラウザ操作の自動化にもそのまま効く構図。Playwright などで AI にUI操作をさせている人には、スクリーンショットを毎手番投げる設計を見直す材料になる。
成功率が46.9%→54.3%という水準は、裏を返せば「2回に1回は失敗する」段階。UI 操作エージェントを本番フローに組み込むなら、失敗前提のリトライと人間の承認が不可欠。
8B クラスのモデルをファインチューニングして最高スコアという点は、用途を絞れば小規模モデルで足りる局面があることを示している。受託でコストを抑えたい場面での選択肢になる。

本件は AI Watch（インプレス）の報道にもとづく。パナソニックホールディングスによる公式リリースおよび論文本体は未確認。

出典