PhotoDoodle: превращайте фото в произведения искусства с помощью текстовых подсказок 113

Что такое PhotoDoodle?

PhotoDoodle ai — это система редактирования изображений, разработанная совместно компанией ByteDance и исследовательскими командами из университетов Китая и Сингапура на основе модели Flux.1. Главная особенность этой технологии заключается в способности учиться и имитировать определённые художественные стили по небольшому количеству примеров, а затем преобразовывать фотографии пользователей в произведения в различных художественных стилях.

Функциональные особенности PhotoDoodle

• Интеллектуальный перенос стилей: используя вариант EditLoRA, система способна изучать стиль конкретного художника даже по небольшому количеству образцов. Благодаря исследованию выбранных пар изображений она глубоко изучает тонкости каждого художественного стиля, что позволяет применять различные художественные стили к фотографиям пользователей.

• Технология клонирования позиционного кодирования: ИИ запоминает точное положение каждого пикселя в исходном изображении. При добавлении новых элементов он использует сохранённую позиционную информацию, чтобы точно их разместить и бесшовно вписать в изображение без необходимости дополнительного обучения параметров, что значительно повышает эффективность обработки и обеспечивает высокую степень персонализации редактирования изображений.

• Высокая эффективность обучения: благодаря модели Flux.1 система способна быстро усваивать новые художественные стили или приёмы редактирования, снижая зависимость от больших объёмов данных.

• Инструмент для творческого самовыражения: платформа для художников и непрофессионалов, позволяющая создавать художественные работы без сложных навыков редактирования изображений.

Применение PhotoDoodle

• Личное творчество и публикации: пользователи могут превращать повседневные фотографии в художественные работы и делиться ими в социальных сетях.

• Реклама и дизайн: бренды и дизайнеры могут использовать PhotoDoodle для быстрого создания визуального контента в определённом стиле для рекламных кампаний или разработки продуктов.

• Образование и преподавание: использование в качестве учебного инструмента на курсах по искусству и дизайну, помогающего студентам понять процесс преобразования различных художественных стилей.

• Создание персонализированных товаров: например, преобразование личных фотографий в декоративные картины, чехлы для телефонов и другие изделия в художественном стиле.

Использование PhotoDoodle

Набор данных и открытый исходный код:

• Исследовательская команда опубликовала набор данных, содержащий шесть различных художественных стилей и более 300 пар изображений, а также предоставила код на GitHub. Дополнительную информацию можно получить в репозитории PhotoDoodle на GitHub.

Порядок работы:

• Пользователи могут с помощью предоставленного кода и набора данных обучить модель для персонализированного редактирования в стиле, либо сразу использовать предварительно обученную модель для редактирования изображений.

PhotoDoodle на GitHub: https://github.com/showlab/PhotoDoodle

PhotoDoodle на HuggingFace: https://huggingface.co/datasets/nicolaus-huang/PhotoDoodle