UniTok : le tokeniseur visuel open source de ByteDance pour les tâches de génération et de compréhension 179

Qu'est-ce que UniTok ?

UniTok est un tokeniseur visuel open source de ByteDance, utilisé simultanément pour les tâches de génération et de compréhension. Il permet de convertir efficacement les informations visuelles en tokens et convient à divers modèles de génération autorégressifs et modèles multimodaux de compréhension. Grâce à une technologie innovante de tokenisation visuelle, il permet de générer du contenu visuel de haute qualité avec un nombre très réduit de tokens (par exemple 256 tokens), comme la reconstruction d'images et de vidéos.

Fonctionnalités principales de UniTok

• Codage visuel efficace : UniTok est capable de décomposer des informations visuelles complexes (telles que des images et des vidéos) en tokens discrets, facilitant ainsi leur traitement par le modèle.

• Prise en charge multimodale : il s'applique non seulement aux images, mais aussi aux contenus vidéo, avec un support de la tokenisation continue et discrète.

• Faible потребление ресурсов : UniTok maintient une qualité de reconstruction élevée même avec un faible nombre de tokens. Par exemple, l'erreur de reconstruction n'est que de 0,39 avec 256 tokens.

• Taux de compression flexible : les utilisateurs peuvent ajuster le nombre de tokens selon leurs besoins pour équilibrer la qualité de génération et l'efficacité de calcul.

Domaines d'application de UniTok

• Tâches de génération visuelle : telles que la reconstruction d'images et de vidéos, et la synthèse visuelle pilotée par des modèles de langage.

• Compréhension multimodale : combinaison d'informations textuelles et visuelles pour un entraînement plus efficace des modèles multimodaux.

• Modèles de diffusion : combinaison avec des modèles de diffusion tels que DiT et Latte pour générer du contenu visuel de haute qualité.

Implémentation technique de UniTok

UniTok repose sur les technologies VQVAE (Variational Quantized Variational Autoencoder) et VAE (Variational Autoencoder), et réalise un codage visuel efficace grâce à un entraînement en deux étapes. Le processus d'entraînement comprend :

• Entraînement sur image à résolution unique : entraînement sur image à une résolution fixe.

• Entraînement conjoint image- vidéo multi- résolutions : entraînement conjoint d'images et de vidéos à plusieurs résolutions.

• Réglage fin du VAE : affinage du modèle VQVAE via la perte KL pour obtenir le modèle VAE.

Avantages de UniTok

• Modèle et poids uniques : UniTok gère la tokenisation des images et des vidéos via un seul modèle et un seul jeu de poids, simplifiant ainsi la gestion et le déploiement du modèle.

• Haute adaptabilité : prend en charge les entrées en haute résolution et les vidéos longues, s'adaptant à de nombreux scénarios d'application.

• Grande compatibilité : compatible avec les modèles de langage et les modèles de diffusion, permettant une génération visuelle diversifiée.

Grâce à sa technique de quantification multi- codebooks, UniTok résout les goulots d'étranglement des tokeniseurs traditionnels dans les tâches de génération et de compréhension, offrant ainsi une solution plus efficace pour les grands modèles de langage multimodaux (MLLMs).

Adresse du projet :https://foundationvision.github.io/UniTok/

Dépôt GitHub :https://github.com/FoundationVision/UniTok