Glass: невидимый ИИ-ассистент для рабочего стола с захватом экрана и звука в реальном времени 69

Glass — это открытый десктопный AI-ассистент, разработанный командой Pickle, созданный специально для macOS и предназначенный для того, чтобы стать «расширением цифрового мозга» пользователя. Он работает в фоновом режиме, в реальном времени фиксирует содержимое экрана и аудио, понимает контекст действий пользователя, преобразует эту информацию в структурированные знания и предоставляет мгновенную обратную связь. Glass может выступать в качестве персонального инструмента повышения продуктивности, ассистента для совещаний — автоматически составлять протоколы встреч, выделять пункты действий, а также оказывать поддержку в диалогах, повышая эффективность командного общения.

Ключевые функции

• Протоколирование совещаний в реальном времени: ассистент слушает аудио встречи в реальном времени, формирует подробные записи и резюме, оформляет их в структурированные заметки для удобного поиска и обмена. При возникновении сложных терминов или вопросов быстро предоставляет справочную информацию и решения, повышая эффективность совещаний.

• Помощь в обучении: анализирует документы и веб-страницы, которые просматривает пользователь, выделяет ключевую информацию и формирует учебные заметки, помогая лучше понимать и усваивать материал и повышая эффективность обучения.

• Поддержка программирования: наблюдает за интерфейсом кода, предоставляет рекомендации по отладке и оптимизации кода в реальном времени, помогая разработчикам быстро решать задачи и повышая эффективность и качество кода.

• Мгновенная обработка информации: в реальном времени фиксирует содержимое экрана и аудио, понимает контекст и преобразует повседневные взаимодействия в структурированные знания, позволяя пользователю в любой момент получить нужные сведения.

• Управление с помощью горячих клавиш: быстрый вызов главного интерфейса, запуск диалога с ассистентом или перемещение окна с помощью клавиатурных сочетаний — без использования мыши, что снижает отвлекающие факторы и помогает сохранять концентрацию.

Сценарии применения

Glass подходит не только для совещаний, но и для помощи в обучении и поддержки программирования. Он может анализировать документы и веб-страницы, которые просматривает пользователь, систематизировать ключевую информацию и формировать учебные заметки; при написании кода — предоставлять рекомендации по отладке и оптимизации в реальном времени.

Особенности работы

Glass работает локально и использует «невидимый дизайн»: по умолчанию он ничего не фиксирует и не записывает, не отображается на скриншотах, в записях экрана или в Dock, что защищает конфиденциальность пользователя и обеспечивает незаметную, но эффективную работу.

Инструкция по использованию

1. Загрузка и установка: перейдите на страницу Glass на GitHub, скачайте установочный пакет для macOS и выполните установку.

2. Запуск программы: после установки запустите приложение — Glass будет работать в фоновом режиме.

3. Настройка горячих клавиш: ознакомьтесь с сочетаниями и настройте их для быстрого управления без использования мыши.

4. Подключение моделей (необязательно): можно подключать популярные большие модели, такие как OpenAI и Anthropic Claude, свободно переключая API-ключи или используя сервис по умолчанию.

5. Начало работы: используйте Glass на совещаниях, при обучении или программировании — ассистент будет фиксировать информацию в реальном времени и оказывать помощь.

Glass поддерживает подключение нескольких моделей: пользователи могут свободно переключать API-ключи или использовать официальный сервис по умолчанию. В настоящее время Glass доступен только для macOS, однако версии для Windows и Linux находятся в разработке. Проект собрал на GitHub более 1800 звёзд и более 300 форков.

Официальный сайт: https://pickle.com/glass

GitHub: https://github.com/pickle-com/glass