AnimeGANv2_云技派,专注ai人工智能! 178

AnimeGAN — это исследование Уханьского университета и Хубэйского политехнического университета, основанное на комбинации нейронного переноса стиля и генеративно-состязательной сети (GAN). AnimeGAN был предложен ещё в прошлом году и использовал фреймворк Tensorflow; в настоящее время проект разработал второе поколение с поддержкой фреймворка PyTorch.

Особенности AnimeGAN

• Решение проблемы высокочастотных артефактов: по сравнению с AnimeGAN первого поколения, AnimeGANv2 эффективно решает проблему высокочастотных артефактов в генерируемых изображениях, делая получаемые картинки в аниме-стиле более естественными и красивыми.

• Оптимизация модели: AnimeGANv2 дополнительно уменьшил размер сети генератора, сократив количество параметров (теперь размер генератора составляет 8,17 МБ), сохранив при этом высокое качество преобразования в аниме-стиль.

• Поддержка нескольких стилей: AnimeGANv2 поддерживает стили известных мультипликаторов, таких как Хаяо Миядзаки, Макото Синкай и Сатоси Кон, — пользователи могут выбирать различные аниме-стили для преобразования по своему вкусу.

Техническая основа и улучшения:

• Технология переноса стиля изображений: AnimeGANv2 основан на фреймворке генеративно-состязательной сети (GAN), специально разработанном для преобразования фотографий реального мира в аниме-стиль. Он решает проблему высокочастотных артефактов, присутствовавшую в AnimeGAN первого поколения, за счёт введения нормализации на уровне признаков для снижения подобного визуального шума.

• Оптимизация архитектуры сети: применена структура, аналогичная U-Net, в сочетании с функцией потерь на основе границ, что усиливает согласование цвета фона и проработку деталей персонажей на генерируемых изображениях, обеспечивая более высокое качество преобразования.

• Инновации в функции потерь: введены потери на стиль в оттенках серого, состязательные потери, потери на содержание и другие — это гарантирует, что сгенерированные изображения сохраняют содержание исходной фотографии и одновременно обладают чёткими текстурами и линиями аниме-стиля.

• Лёгкость и эффективность: количество параметров модели уменьшено, она проста в обучении, размер генератора составляет всего 8,17 МБ и поддерживает быстрое создание высококачественных изображений в аниме-стиле.

Сценарии применения AnimeGANv2

• Личное развлечение: пользователи могут преобразовывать свои фотографии в аниме-стиль.

• Творчество в искусстве: художники и дизайнеры могут использовать эту технологию для создания произведений, сочетающих реальность и аниме.

• Социальные сети: возможность делиться персонализированными аниме-образами в социальных сетях.

• Реклама и брендовый дизайн: бренды могут использовать стилизованные под аниме изображения для креативного маркетинга.

Как пользоваться AnimeGANv2

Онлайн-версия:

Gradio Demo: AnimeGANv2 предоставляет онлайн-демо на Hugging Face благодаря участникам сообщества — пользователю не нужно устанавливать какое-либо программное обеспечение, достаточно загрузить фотографию, выбрать предпочтительный стиль и быстро получить результат преобразования.

Шаги:

• Перейдите на страницу онлайн-демо.

• Загрузите фотографию — можно перетащить файл или нажать кнопку загрузки.

• Выберите версию стиля (например, версия 1 делает больший акцент на стилизации, версия 2 — на устойчивости к исходному изображению).

• Нажмите кнопку отправки и дождитесь завершения обработки.

Локальное развёртывание:

Технические требования: необходима среда Python, библиотеки TensorFlow или PyTorch, а также соответствующие зависимости.

Шаги:

• Клонируйте репозиторий AnimeGANv2 с GitHub.

• Установите необходимые зависимости.

• Подготовьте или загрузите предобученную модель.

• Запустите код и, следуя инструкциям, укажите путь к фотографии.

• Дождитесь обработки моделью — на выходе будет изображение в аниме-стиле.

Проект: https://github.com/TachibanaYoshino/AnimeGANv2

Связанные новости:

Инструменты для генерации изображений в стиле AI-манги