DemoFusion: бесплатный ИИ-инструмент с открытым кодом для перерисовки изображений 106

DemoFusion — это open-source инструмент для перерисовки и улучшения изображений с помощью ИИ, а также инструмент для генерации изображений со сверхвысоким разрешением. Используя новейшую технологию BSR Gan, он позволяет увеличить разрешение сгенерированных изображений в 4, 16 раз и даже больше, а также исправлять и улучшать детали изображения.

Адрес проекта DemoFusion: https://github.com/PRIS-CV/DemoFusion

Адрес для тестирования DemoFusion: https://huggingface.co/spaces/radames/Enhance-This-DemoFusion-SDXL

DemoFusion разработан Институтом искусственного интеллекта Университета Суррея и позволяет пользователям генерировать базовые изображения с помощью бесплатных open-source моделей ИИ (таких как Stable Diffusion), а затем улучшать их, добавляя больше деталей и возможностей в более высоком разрешении. Необходимые вычислительные мощности обеспечивает любой игровой ПК среднего уровня или Mac M1.

Чтобы получить результаты в высоком разрешении с помощью обычных open-source инструментов ИИ, команда сначала генерирует изображения в низком разрешении, а затем улучшает их. Это не метод апскейлинга, а способ обманом извлечь из модели ИИ больше деталей, обрабатывая изображение патчами, что повышает детализацию и разрешение как минимум в 16 раз.

Функциональные особенности DemoFusion:

Наш фреймворк DemoFusion бесшовно расширяет возможности open-source моделей GenAI, используя механизмы прогрессивного повышения частоты дискретизации, пропуска остатков и расширенной выборки для генерации изображений с более высоким разрешением.

1. Генерация изображений в высоком разрешении: DemoFusion ориентирован на использование латентных диффузионных моделей (LDM) для генерации изображений с более высоким разрешением, преодолевая ограничения традиционных технологий генерации изображений.

2. Прогрессивный апскейлинг: фреймворк генерирует более чёткие и детализированные изображения за счёт постепенного повышения разрешения. Такой прогрессивный подход обеспечивает более тонкий контроль качества изображения. Он будет постепенно повышать чёткость изображения, так что вы сначала увидите примерный результат, а затем он будет становиться всё более чётким.

3. Механизмы пропуска остатков и расширенной выборки: DemoFusion использует эти передовые технологии для улучшения локальных деталей и глобальной согласованности изображения, создавая тем самым более естественные и реалистичные изображения.

4. Интеграция с ControlNet: может бесшовно интегрироваться в различные приложения на базе LDM, например, в сочетании с ControlNet для управляемой генерации изображений с высоким разрешением.

5. Апскейлинг реальных изображений: также способен увеличивать реальные изображения, заменяя выход начальной фазы закодированным представлением реального изображения для достижения высокого разрешения.

6. Не требует большого объёма памяти и настройки: DemoFusion спроектирован как эффективный и простой в использовании, не требующий больших ресурсов памяти или сложных процессов настройки.

Получит ли DemoFusion достаточную популярность, чтобы конкурировать с гигантами вроде DALL-E от OpenAI, ещё предстоит увидеть, однако его создание является важным шагом на пути к открытию потенциала генерации изображений с помощью ИИ для широкой публики и технологического сообщества в целом. Он не требует дополнительного обучения и может быть напрямую применён к существующим моделям, обеспечивая значительное повышение разрешения.