脚本プランナー▸ 
AIアプリ 
AIニュース 
Cradle：キーボードとマウスを直接制御できるマルチモーダルAI Agentフレームワーク
Cradle：キーボードとマウスを直接制御できるマルチモーダルAI Agentフレームワーク紹介
Cradleとは？
Cradleは、汎用コンピュータ制御（General Computer Control, GCC）向けのマルチモーダルaiフレームワークであり、昆仑万維や北京智源人工智能研究院などの機関によって共同で発表されました。スクリーンショットを入力、キーボードとマウスの操作を出力として、AIエージェントが人間のようにコンピュータを直接制御してさまざまなタスクを完了できるようにします。Cradleは、情報収集、自己反省、タスク推論、スキル企画、動作計画、メモリ管理などのコア機能を備えており、ゲーム、日常的なソフトウェア操作、専門的なソフトウェア操作などのシナリオに広く応用できます。
Cradleのコア機能
情報収集：画面の画像や音声からマルチモーダル情報を抽出し、意思決定に利用する。
自己反省：過去の行動の成否を評価し、失敗の原因を分析して以降の行動を導く。
タスク推論：現在の環境と履歴情報に基づいて、次に実行すべき最適なタスクを推論・選択する。
スキル企画：与えられたタスクに関連するスキルを生成・更新し、さまざまなコンピュータ操作のニーズに対応する。
動作計画：キーボードとマウスの制御のための具体的な操作を生成し、戦略を実行可能なコマンドに変換する。
メモリと知識の管理：長期メモリと短期メモリのシステムを備え、過去の経験やスキルを保存し、必要なときに検索・適用する。
Cradleの応用シナリオ
ゲーム環境：『レッド・デッド・リデンプション2』『スターデューバレー』『シティーズ：スカイライン』など。
日常的なソフトウェア操作：ブラウザ、メールクライアント、オフィスソフトなど。
専門的なソフトウェア操作：グラフィックデザインや動画編集ソフトなど。
Cradleの技術原理
マルチモーダル入力処理：画面の画像や音声のマルチモーダル入力を受信・処理し、人間の知覚方法を模倣してコンピュータのインターフェースや環境を理解する。
情報の抽出と理解：大規模マルチモーダルモデル（GPT-4Vなど）を利用して、画像内の視覚要素、テキスト情報、音声内の指示やフィードバックを識別する。
自己反省メカニズム：反省モジュールを通じて、以前に実行した動作が成功したかどうかを評価し、失敗の原因を分析する。
タスク推論と計画：現在の優先タスクを特定し、新しい動作を策定してタスクを完了する。
スキルの生成と更新：現在のタスクに基づいて新しいスキルを生成したり、既存のスキルを更新したりする。
Cradleの特徴
汎用性：内部APIに依存せず、あらゆるオープンソース／クローズドソースのソフトウェアと対話できる。
強力な推論能力：大規模言語モデルに基づき、複雑なタスクの計画と実行が可能。
自己改善：自己反省メカニズムを通じて継続的にパフォーマンスを最適化する。
スキルの蓄積：さまざまな操作スキルを段階的に蓄積し、再利用できる。
Cradleは、『レッド・デッド・リデンプション2』、『スターデューバレー』、『シティーズ：スカイライン』などのゲームや、Chromeブラウザ、Outlookメールなどのソフトウェアにすでに成功地応用されています。
Cradle関連リンク
Cradleプロジェクトホームページ：https://baai-agents.github.io/Cradle/
Cradleコードリポジトリ：https://github.com/BAAI-Agents/Cradle
Cradle論文：https://arxiv.org/abs/2403.03186
