Project Astra: Google DeepMind가 개발한 비디오 이해 능력을 갖춘 프로토타입 204

Project Astra는 Google DeepMind가 개발한 연구 프로토타입으로, 비디오 이해 능력을 갖추고 있으며 사용자의 기기 카메라와 마이크를 통해 일상생활에 도움을 줄 수 있습니다. Google I/O 2024大会上에서 Google DeepMind의 CEO Demis Hassabis가 Project Astra를 발표했습니다.

Project Astra는 Google이推出的한 멀티모달 ai 프로젝트로, 사용자의 카메라 화면 속 물품을 실시간으로 해석할 수 있는 AI 어시스턴트를 개발하는 것을 목표로 합니다

Project Astra의 기능 특징:

멀티모달 상호작용: Project Astra는 사용자가 음성, 텍스트, 그림, 사진, 비디오 등 다양한 방식으로 상호작용할 수 있도록 하며, 포괄적인 상호작용 경험을 제공합니다.

실시간 인식 및 기억: Astra는 끊임없이 이어지는 비디오에서 물품을 인식하고 그 위치를 기억할 수 있습니다. 예를 들어, 안경을 인식하여 그 위치(빨간 사과 옆, 테이블 위)를 지적할 수 있습니다.

코드 해석: Astra는 화면 속 코드를 해석할 수도 있으며, 이는 복잡한 시각 정보를 처리하고 이해할 수 있음을 보여줍니다.

로컬 실행: Project Astra는 Gemini를 기반으로 하며 Pixel手机上에서 로컬로 실행될 수 있어, 처리 속도가 빠르고 지연 시간이 낮다는 것을 의미합니다.

증강 현실 및 휴먼-컴퓨터 상호작용: Project Astra는 증강 현실과 휴먼-컴퓨터 상호작용 분야에서 중대한 진전을 이루었으며, 기기가 정보를 얻는 도구에 그치지 않고 우리의 일상생활을 이해하고 참여하는 동반자가 될 수 있도록 합니다.

엔터프라이즈급 저장 및 데이터 서비스:值得注意的是的是, Project Astra는 NetApp의 한 프로젝트 이름으로도 사용되며, 이 프로젝트는 Kubernetes에 엔터프라이즈급 저장 및 데이터 서비스 플랫폼을 제공하는 것을 목표로 합니다.

OpenAI와의 경쟁: Google의 Project Astra는 OpenAI의 GPT-4o와 유사한 점이 있으며, 둘 다 AI 어시스턴트 분야에서 비슷한 비전을 가지고 있고 동일한 시장을 놓고 경쟁하고 있습니다.

미래 전망: Project Astra의 목표는 기술을 휴대전화와 웨어러블 기기에嵌入하여 우리 일상 어디에나 존재하는 어시스턴트가 되는 것입니다. 현재 Astra는 아직 프로토타입 단계에 있지만, 실시간 상호작용과 멀티모달 이해 능력을 갖춘 잠재력을 이미 보여주었습니다.

Project Astra는 사용자 기기의 카메라와 마이크를 사용하여 비디오 프레임과 음성 입력을 지속적으로 처리하고 인코딩하여 이벤트의 타임라인을 생성하고 정보를 빠르게 회상할 수 있도록 캐시합니다. 이를 통해 AI는 물체를 인식하고, 질문에 답하며, 한때 보았지만 더 이상 카메라视野에 없는事物을 기억할 수 있습니다.

Google은 Project Astra가 여전히 초기 단계에 있으며 구체적인 출시 계획이 없다고 밝히면서도, 올해 후반에 Gemini 앱과 같은 제품에 ("Gemini Live"라는 이름의 기능으로) 이러한 기능 중 일부가 통합될 가능성을 시사했습니다. 이는 유용한 AI 어시스턴트를 개발하는 데 있어 중요한 한 걸음이 될 것입니다. Google CEO Sundar Pichai는 이것이 "代理性"을 가진 대리자를 만들어 "대신하여 사고하고, 추론하고, 계획"할 수 있도록 하기 위한 것이라고 말했습니다.