Помощник сценариста▸ 
AI Приложения 
AI Новости 
ToonComposer：腾讯推出的AI自动上色和生成动画工具
ToonComposer：腾讯推出的AI自动上色和生成动画工具Описание
ToonComposer — это инструмент для создания анимации, представленный компанией Tencent, который объединяет этапы «добавления промежуточных кадров» и «раскрашивания» в производстве анимации в один этап «генерации исходных кадров», что делает процесс создания анимации более простым.
Функциональные особенности ToonComposer
Генерация анимации из различных источников: ToonComposer может создавать анимацию на основе текста, набросков или изображений. Например, при вводе запроса «кошка в скафандре ловит бабочку на Луне» будет сгенерирован анимационный сценарий, содержащий несколько сцен.
Автоматическая доработка деталей анимации: на основе введённых эскизов ключевых кадров и цветных опорных кадров автоматически создаются промежуточные кадры и выполняется раскрашивание, в результате чего генерируется цельное мультипликационное видео.
Преобразование и настройка стилей: встроено более 20 распространённых шаблонов мультипликационных стилей, которые можно переключать одним нажатием; также поддерживается создание пользовательских стилей.
Динамическое редактирование сцен: перетаскивая карточки сцен, можно изменять их порядок, корректировать действия и параметры камеры, добиваясь интуитивно понятного редактирования.
Функция управления областями: можно указать пустые области, и модель сгенерирует подходящее содержимое на основе остальных частей изображения, что сокращает объём ручной работы.
Технические преимущества
Механизм инъекции разреженных эскизов: с помощью позиционного кодирования и позиционно-осведомлённых остаточных технологий разреженные эскизы ключевых кадров точно интегрируются в модель, обеспечивая точное управление временной составляющей.
Пространственный адаптер низкого ранга (SLRA): настраивает пространственное представление модели для адаптации к мультипликационному стилю, сохраняя при этом временну́ю согласованность, благодаря чему генерируемые движения выглядят более естественно.
Возможность управления областями: позволяет указывать пустые области, и модель генерирует подходящее содержимое в зависимости от контекста, сокращая объём ручного рисования.
Как пользоваться ToonComposer
Требования к оборудованию и системе: необходим графический процессор NVIDIA (с видеопамятью не менее 16 ГБ), Python 3.10 и PyTorch 2.6.0.
Шаги по установке
git clone https://github.com/TencentARC/ToonComposer cd ToonComposer conda create -n tooncomposer python=3.10 -y conda activate tooncomposer pip install -r requirements.txt pip install flash-attn==2.8.0.post2 --no-build-isolation
Запуск интерфейса
Команда для запуска: python app.py --device cuda:0 --resolution 480p, затем откройте в браузере адрес http://localhost:7860 — отобразится интерфейс Gradio.
Работа с интерфейсом
Текстовая подсказка: введите текст с описанием содержания анимации, например «A girl with long hair waves her hand.».
Цветной опорный кадр: загрузите цветное изображение размером 480×480 или 608×608, обычно размещаемое на 0-м кадре.
Линейный эскиз ключевого кадра: выберите номер кадра на временно́й шкале и загрузите соответствующий эскиз; требуется минимум 1 изображение.
Маска области (необязательно): закрасьте нужную область на эскизе чёрной кистью, и модель автоматически сгенерирует содержимое для этой области.
Расширенные настройки: можно регулировать силу подсказки (CFG Scale) и степень контроля линейного эскиза (Position-aware Residual Scale).
Генерация анимации: нажмите кнопку «Generate», дождитесь завершения индикатора выполнения — после этого можно воспроизвести и скачать сгенерированную анимацию.
Преимущества и результаты
Сокращение ручного труда: заметно снижает объём ручной работы на этапах добавления промежуточных кадров и раскрашивания при создании анимации.
Высокое качество генерации: в ходе многочисленных тестов ToonComposer продемонстрировал лучшие результаты по сравнению с существующими методами в отношении визуального качества, согласованности движений и эффективности производства.
Высокая гибкость: поддерживается вставка нескольких линейных эскизов ключевых кадров в произвольные моменты времени, что обеспечивает более точное управление движением.
Сценарии применения
Создание анимации
Классическая мультипликация: быстрая генерация промежуточных кадров и раскрашивание, сокращение ручного труда и повышение эффективности производства.
Онлайн-анимация и анимация для прямых трансляций: поддерживается генерация в реальном времени, что подходит для онлайн-создания мультипликации и анимации в прямом эфире.
3D-анимация: изучение возможностей применения в производстве 3D-анимации.
Образовательная сфера: можно создавать яркие обучающие анимации, помогающие учащимся нагляднее усваивать сложные концепции.
Маркетинг и реклама: возможность быстро генерировать черновые анимационные идеи для рекламного производства.
Разработка игр: может использоваться как вспомогательный инструмент при разработке игр, позволяя быстро создавать анимацию персонажей и сцен для прототипирования.
Github:https://github.com/TencentARC/ToonComposer
