Project Astra: прототип с возможностью понимания видео от Google DeepMind 205

Project Astra — это исследовательский прототип, разработанный Google DeepMind, который обладает возможностями понимания видео и способен оказывать помощь в повседневной жизни через камеру и микрофон устройства пользователя. На конференции Google I/O 2024 генеральный директор Google DeepMind Демис Хассабис (Demis Hassabis) объявил о проекте Project Astra.

Project Astra — это мультимодальный проект в области искусственного интеллекта, запущенный Google, целью которого является разработка AI-ассистента, способного в реальном времени интерпретировать объекты в поле зрения камеры пользователя.

Функциональные особенности Project Astra:

Мультимодальное взаимодействие: Project Astra позволяет пользователям взаимодействовать с ним с помощью голоса, текста, рисования, фотографий и видео, обеспечивая комплексный интерактивный опыт.

Распознавание и память в реальном времени: Astra способен распознавать объекты в непрерывном видеопотоке и запоминать их расположение. Например, он может распознать очки и указать их местоположение на столе (рядом с красным яблоком).

Объяснение кода: Astra также способен объяснять код на экране, что свидетельствует о его возможности обрабатывать и понимать сложную визуальную информацию.

Локальная работа: Project Astra построен на базе Gemini и может работать локально на телефонах Pixel, что указывает на высокую скорость обработки и низкую задержку.

Дополненная реальность и взаимодействие человека с машиной: Project Astra достиг значительного прогресса в области дополненной реальности и человеко-машинного взаимодействия, превращая устройства из простого инструмента для получения информации в партнёра, который понимает и участвует в нашей повседневной жизни.

Корпоративное хранилище и сервисы данных: Стоит отметить, что Project Astra также используется в качестве названия проекта NetApp, целью которого является предоставление платформы для корпоративного хранения данных и сервисов данных для Kubernetes.

Конкуренция с OpenAI: Project Astra от Google имеет сходства с GPT-4o от OpenAI — оба проекта имеют схожее видение в области AI-ассистентов и борются за одну и ту же рыночную нишу.

Перспективы на будущее: Целью Project Astra является встраивание технологии в смартфоны и носимые устройства, чтобы стать повсеместным помощником в нашей повседневной жизни. Несмотря на то что Astra всё ещё находится на стадии прототипа, он уже продемонстрировал свой потенциал в области взаимодействия в реальном времени и мультимодального понимания.

Project Astra использует камеру и микрофон на устройстве пользователя, непрерывно обрабатывая и кодируя видеокадры и голосовой ввод, создавая временную шкалу событий и кэшируя информацию для быстрого воспоминания. Это позволяет AI распознавать объекты, отвечать на вопросы и запоминать вещи, которые он видел ранее, но которые больше не находятся в поле зрения камеры.

В Google заявили, что, хотя Project Astra в настоящее время всё ещё находится на ранней стадии и конкретных планов по выпуску нет, компания намекнула, что некоторые из этих возможностей могут быть интегрированы позднее в этом году в такие продукты, как приложение Gemini (в виде функции под названием «Gemini Live»), что станет важным шагом в разработке полезного AI-ассистента. Генеральный директор Google Сундар Пичаи (Sundar Pichai) заявил, что целью является создание «агента» с агентскими способностями, который сможет «думать, рассуждать и планировать от вашего имени».