AlibabaのAIが画面を読み取り、実機テストで９２％を達成——自分のハードウェアで動かすことも可能

アリババのQwen-UI-Agentは、アプリへの特別なアクセス権を必要としない。画面を読み取り、その内容を識別し、クリックする。視覚認識のみでメッセージングからドキュメント編集までこなす。モデルウェイト——MAI-UI-2BとMAI-UI-8B——は今週、Hugging Faceに公開され、GPUを持つ開発者なら誰でもこのシステムを利用できるようになった。

ベンチマーク結果は具体的だ。標準的なモバイルエージェント評価であるMobileWorldでは、Qwen-UI-Agentは82.1%を記録し、GPT-5.6を12ポイント、Claude Opus 4.8を14.6ポイント上回った。この差は無視できない——同等の西側システムは数ヶ月にわたり同テストで低～中70%台に停滞している。実機テスト——エミュレーターではなく実際のAndroid端末でタスクを実行——ではスコアは92.2%に上昇した。より広範な実機評価であるAndroidDaillyでは97.5%に達した。デスクトップ用途では、OSWorld-Verifiedによる測定で79.5%を記録し、GPT-5.5およびGeminii 3.1 Proをともに上回った。

アリババは、150種類のアプリケーションを実行する100台以上の実機モバイルデバイスからのデータでモデルを訓練し、その後、400以上のタスクを含む独自のベンチマーク「MobileWorld-Real」を構築して、ラボ外での性能を検証した。デスクトップタスクの約40%は、視覚的なクリックとともにバッチコマンドライン操作を伴っており、これはデモの実演ではなく実際のコンピューティングのあり方を反映した設計選択である。

ワークフローには安全性レイヤーが組み込まれている。モデルは、違法またはハイリスクと判断したタスクを拒否し、支払い、データ削除、プライバシー承認などのセンシティブな操作では停止し、ユーザーの明示的な確認を求めてから進行する。システムは、約1万の同時並行シーミュレーション環境で訓練された強化学習を用いて、100スッテプを超えるシーケンスを処理する。

ベンチマークのスコアは、より難しい問いを残している。Qwen-UI-Agentは構造化されたタスクで評価されたが、実際のスマホ使用は割り込みが多く、通知にまみれ、警告なしにインターフェースを更新するアプリもある。スクリーンリーディングAIはまた、アリババの技術レポートが扱っていないプライバシーの問題を提起する: 画面上のすべてのピクセルを処理するモデルは、銀行の詳細、プライベートメッセージ、そして大半のユーザーが第三者のシステムに渡すことを考えたこともないデータにアクセスできる。サードパーティでの展開時にそのデータがどうなるかについてのガイドラインは存在しない。

プロジェクトはGitHubのTongyi-MAI/MAI-UIでホストされており、モデルウェイトは現在Hugging Faceにある。商業用APIや導入価格は発表されていない。Qwen-UI-Agentの次の試練はベンチマークではなく、オープンウェイト上に構築するデベロッパーが、アリババがラボで記録した性能を本番環境でも再現できるかどうかである。

タグ: GPT-5.6, AIエージェント, オープンソースAI, Alibaba, Qwen, Qwen-UI-Agent