Cradle: мультимодальный фреймворк AI-агентов с прямым управлением клавиатурой и мышью 155

Что такое Cradle?

Cradle — это мультимодальная платформа ai для общего управления компьютером (General Computer Control, GCC), совместно разработанная Kunlun Wanwei, Пекинским институтом искусственного интеллекта Zhiyuan и другими организациями. Она использует скриншоты в качестве входных данных, а действия клавиатуры и мыши — в качестве выходных, что позволяет AI-агентам управлять компьютером напрямую, как человек, выполняя различные задачи. Cradle обладает ключевыми функциями, такими как сбор информации, саморефлексия, вывод задач, планирование навыков, планирование действий и управление памятью, и может широко применяться в таких сценариях, как игры, повседневная работа с программным обеспечением и операции в профессиональных приложениях.

Основные функции Cradle

• Сбор информации: извлечение мультимодальной информации из экранных изображений и аудио для принятия решений.

• Саморефлексия: оценка успешности предыдущих действий, анализ причин неудач для корректировки последующих шагов.

• Вывод задач: определение и выбор оптимальной следующей задачи на основе текущей среды и исторической информации.

• Планирование навыков: генерация и обновление навыков, связанных с поставленной задачей, для удовлетворения различных потребностей в управлении компьютером.

• Планирование действий: генерация конкретных операций для управления клавиатурой и мышью, преобразование стратегий в исполняемые команды.

• Управление памятью и знаниями: наличие систем долговременной и кратковременной памяти для хранения прошлого опыта и навыков, их извлечения и применения при необходимости.

Сценарии применения Cradle

• Игровая среда: например, Red Dead Redemption 2, Stardew Valley, Cities: Skylines и другие.

• Повседневная работа с программным обеспечением: например, браузеры, почтовые клиенты, офисные приложения и т.д.

• Работа с профессиональным ПО: например, графические редакторы или программы для монтажа видео.

Технические принципы Cradle

• Обработка мультимодального ввода: приём и обработка мультимодальных входных данных — экранных изображений и аудио, имитация человеческого восприятия для понимания компьютерного интерфейса и среды.

• Извлечение и понимание информации: использование больших мультимодальных моделей (например, GPT-4V) для распознавания визуальных элементов и текстовой информации на изображениях, а также команд или обратной связи в аудио.

• Механизм саморефлексии: оценка успешности ранее выполненных действий и анализ причин неудач с помощью модуля рефлексии.

• Вывод и планирование задач: определение текущих приоритетных задач и разработка новых действий для их выполнения.

• Генерация и обновление навыков: создание новых навыков или обновление существующих в соответствии с текущей задачей.

Особенности Cradle

• Универсальность: не зависит от каких-либо внутренних API и может взаимодействовать с любым программным обеспечением с открытым или закрытым исходным кодом.

• Мощные возможности рассуждения: основаны на больших языковых моделях, что позволяет выполнять сложное планирование задач и их реализацию.

• Самосовершенствование: постоянная оптимизация производительности с помощью механизма саморефлексии.

• Накопление навыков: возможность постепенного накопления и повторного использования различных операционных навыков.

Cradle уже успешно применяется в таких играх, как Red Dead Redemption 2, Stardew Valley, Cities: Skylines, а также в программном обеспечении, таком как браузер Chrome, почтовый клиент Outlook и другие.

Ссылки по теме Cradle

Домашняя страница проекта Cradle:https://baai-agents.github.io/Cradle/

Репозиторий кода Cradle:https://github.com/BAAI-Agents/Cradle

Статья Cradle:https://arxiv.org/abs/2403.03186