バイトダンス UI-TARS：オープンソースの自己学習型 GUI エージェント 239

バイトダンスは2025年1月22日に、ネイティブグラフィカルユーザーインターフェース（GUI）エージェントモデル「UI-TARS」をオープンソース化しました。UI-TARSという名は映画『インターステラー』に登場するTARSロボットに由来しており、グラフィカルインターフェース操作の自動化専用に設計されていることから、高い知能と自律的な思考能力を備えていることを示唆しています。

UI-TARSとは？

UI-TARSは人間のようにスクリーンショットを通じてインターフェースを観察し、キーボードやマウスなどの操作を実行することで、人間のようにスマートフォンやPCを操作してタスクを完了させることができ、高度な認識・推論・対話能力を備えています。

UI-TARSの目標は、高度に知能化されたモデルによってユーザーインターフェースを制御・対話することで、より自然で効率的なヒューマンコンピュータインタラクションへの転換を実現することです。

UI-TARSの特徴：

• 視覚言語モデルによってサポートされる自然言語制御

• スクリーンショットと視覚認識のサポート

• 精密なマウスおよびキーボード操作

• クロスプラットフォーム対応（Windows/MacOS）

• リアルタイムのフィードバックと状態表示

UI-TARSの機能：

• 自己学習能力：UI-TARSは自己学習能力を備えており、継続的なインタラクションとフィードバックを通じてその操作を最適化できます。

• マルチプラットフォーム対応：このモデルはPCおよびMacOSだけでなく、スマートフォンやウェブ上でも動作し、幅広い適用性を持ちます。

• 自然言語処理：UI-TARSはスクリーンショットと自然言語指示を入力として処理し、指示を完了するための次の操作を正確に予測することで、ユーザーがUIインターフェースを操作するのを支援します。

• 画像認識：UI-TARSはスクリーンショットを処理し、インターフェース要素を認識して対応する操作を行うことが可能で、UI自動化テストや操作において非常に効果的です。

• 拡張された認識能力：大規模なGUIスクリーンショットデータセットを活用し、UI要素のコンテキストを理解した認識と正確なアノテーションを実現します。

• 統一された動作モデリング：クロスプラットフォームの動作を統一された空間に標準化し、大規模な動作軌跡を通じて精密な位置特定とインタラクションを実現します。

• System-2推論：複数ステップの意思決定に熟慮された推論を取り入れ、タスク分解、振り返り思考、マイルストーン認識などさまざまな推論パターンを含みます。

• 反復的トレーニング：数百台の仮想マシン上で新しいインタラクション軌跡を自動的に収集、フィルタリング、反省的に精練することで、データのボトルネックを解決します。

UI-TARSの応用シナリオ

• 自動化テスト：UI-TARSはソフトウェアの自動化テストに使用でき、開発者がユーザーインターフェースの機能と安定性を迅速に検証するのに役立ちます。

• ウェブ自動化操作：Midscene.jsとUI-TARSを組み合わせることで、自然言語によってAI大規模モデルを駆動し、現在のページ状態において一連の操作を行った上で人間の指示目標に近づくことが可能になります。

• タスク自動化：日常業務において、UI-TARSはユーザーがデータ入力や情報検索などの反復的なタスクを自動実行するのを支援し、業務効率を向上させます。

• クロスプラットフォーム操作：UI-TARS DesktopバージョンはWindowsおよびmacOSシステムに対応しており、異なるオペレーティングシステムにおける幅広い適用性を示し、ユーザーに一貫したインタラクション体験を提供します。

• 日常利用とオフィス自動化：自然言語制御により、UI-TARSはファイル管理やアプリ操作などの日常的なオフィス業務を簡素化し、業務効率を向上させます。

従来、モジュール化されたフレームワークや手作業によるプロンプト最適化に依存していたシステムとは異なり、UI-TARSはエンドツーエンドアーキテクチャを採用し、純粋な視覚入力に依存することで、複雑なタスクの全面的な自動化を実現しています。UI-TARSはテストシナリオに限定されるものではなく、日常のユーザーインタラクションの智能化に重点を置いており、AIの力によってコンピュータとのインタラクションをより人間中心にしています。

UI-TARSプロジェクトアドレス：https://github.com/bytedance/UI-TARS