Помощник сценариста▸ 
AI Приложения 
AI Новости UniTok: открытый визуальный токенизатор ByteDance для задач генерации и понимания
小编 ·
UniTok: открытый визуальный токенизатор ByteDance для задач генерации и понимания
Что такое UniTok?
UniTok — это визуальный токенизатор с открытым исходным кодом от ByteDance, который одновременно используется для задач генерации и понимания. Он способен эффективно преобразовывать визуальную информацию в токены и подходит для различных авторегрессионных генеративных моделей и мультимодальных моделей понимания. Благодаря инновационной технологии визуальной токенизации он позволяет осуществлять высококачественную генерацию визуального контента, например реконструкцию изображений и видео, при крайне низком количестве токенов (например, 256 токенов).
Основные функции UniTok
Эффективное визуальное кодирование: UniTok способен разбивать сложную визуальную информацию (например, изображения и видео) на дискретные токены, что упрощает обработку моделью.
Мультимодальная поддержка: он подходит не только для изображений, но и для обработки видеоконтента, поддерживая непрерывную и дискретную токенизацию.
Низкие требования к ресурсам: UniTok сохраняет высокое качество реконструкции даже при небольшом количестве токенов — например, ошибка реконструкции при 256 токенах составляет всего 0,39.
Гибкая степень сжатия: пользователи могут регулировать количество токенов в зависимости от своих потребностей, чтобы балансировать качество генерации и вычислительную эффективность.
Области применения UniTok
Задачи визуальной генерации: например, реконструкция изображений и видео, визуальный синтез на основе языковых моделей.
Мультимодальное понимание: объединение текстовой и визуальной информации для более эффективного обучения мультимодальных моделей.
Диффузионные модели: интеграция с диффузионными моделями, такими как DiT и Latte, для генерации высококачественного визуального контента.
Техническая реализация UniTok
UniTok основан на технологиях VQVAE (вариационный квантованный автокодировщик) и VAE (вариационный автокодировщик) и обеспечивает эффективное визуальное кодирование благодаря двухэтапному обучению. Процесс обучения включает:
Обучение на изображениях с одним разрешением: обучение на изображениях с фиксированным разрешением.
Совместное обучение на изображениях и видео с несколькими разрешениями: совместное обучение на изображениях и видео с различными разрешениями.
Тонкая настройка VAE: тонкая настройка модели VQVAE с использованием KL-потерь для получения модели VAE.
Преимущества UniTok
Единая модель и единые веса: UniTok использует единую модель и единые веса для токенизации изображений и видео, что упрощает управление и развёртывание модели.
Высокая адаптивность: поддержка входных данных с высоким разрешением и длинных видео, что подходит для различных сценариев применения.
Высокая совместимость: совместимость с языковыми и диффузионными моделями, обеспечивающая разнообразную визуальную генерацию.
UniTok решает узкие места традиционных токенизаторов в задачах генерации и понимания благодаря технологии квантования с несколькими кодбуками, предоставляя мультимодальным большим языковым моделям (MLLM) более эффективное решение.
Адрес проекта:https://foundationvision.github.io/UniTok/
Репозиторий на GitHub:https://github.com/FoundationVision/UniTok
