Project Astra：Google DeepMindが開発した動画理解能力を持つプロトタイプ 200

Project Astra は Google DeepMind が開発した研究プロトタイプで、動画理解能力を備え、ユーザーのデバイスカメラとマイクを通じて日常生活の支援を行うことができます。Google I/O 2024 カンファレンスで、Google DeepMind の CEO である Demis Hassabis が Project Astra を発表しました。

Project Astra は Google が発表したマルチモーダル ai プロジェクトであり、ユーザーのカメラ映像に映る物品をリアルタイムで解釈できる AI アシスタントの開発を目指しています

Project Astra の機能と特徴：

マルチモーダルインタラクション：Project Astra はユーザーが音声、テキスト、描画、写真、動画などさまざまな方法で対話できるようにし、包括的なインタラクション体験を提供します。

リアルタイム認識と記憶：Astra は途切れることのない動画内で物品を認識し、その位置を記憶することができます。たとえば、メガネを認識して、それがテーブル上のどこにあるか（赤いリンゴの近くにある）を指摘することができます。

コード解釈：Astra は画面上のコードを解釈することもでき、複雑な視覚情報を処理・理解する能力を持っていることを示しています。

ローカル実行：Project Astra は Gemini に基づいており、Pixel スマートフォン上でローカルに実行できるため、高い処理速度と低いレイテンシーを備えています。

拡張現実とヒューマンマシンインタラクション：Project Astra は拡張現実とヒューマンマシンインタラクションにおいて大きな進歩を遂げており、単に情報を取得するツールだけでなく、私たちの日常生活を理解し参加するパートナーとなるデバイスを実現します。

エンタープライズストレージとデータサービス：なお、Project Astra は NetApp のプロジェクト名としても使用されており、Kubernetes にエンタープライズグレードのストレージとデータサービスプラットフォームを提供することを目的としている点に注意が必要です。

OpenAI との競争：Google の Project Astra は OpenAI の GPT-4o と類似点があり、両者とも AI アシスタント分野で同様のビジョンを持ち、同じ市場を争夺しています。

今後の見通し：Project Astra の目標は、技術をスマートフォンやウェアラブルデバイスに組み込み、日常生活に遍在するアシスタントとなることです。現時点で Astra はまだプロトタイプ段階にありますが、リアルタイムインタラクションとマルチモーダル理解におけるその可能性を示しています。

Project Astra はユーザーのデバイスのカメラとマイクを使用し、動画フレームと音声入力を継続的に処理・エンコードすることで、イベントのタイムラインを作成し、迅速な想起のために情報をキャッシュします。これにより、AI は物体を認識し、質問に答え、以前見たことがあるが現在はカメラの視野にないものを記憶することができます。

Google は、Project Astra が依然として初期段階にあり、具体的なリリース計画はないものの、これらの機能の一部が今年の後半に Gemini アプリなどの製品に（「Gemini Live」という機能名で）統合される可能性があることを示唆しており、これは有用な AI アシスタントを開発する上で重要な一歩となると述べています。Google CEO の Sundar Pichai は、これは「エージェント性」を持つエージェントを生み出し、「ユーザーに代わって思考・推論・計画する」ことができるようにするためのものであると語っています。