Hunyuan-Large-Vision:Tencent Hunyuan視覚モデルファミリーのマルチモーダル理解モデル 73

小编 ·

Hunyuan-Large-Vision:Tencent Hunyuan視覚モデルファミリーのマルチモーダル理解モデル

Tencent推出的のHunyuan-Large-Visionは、Hunyuan視覚モデルファミリーのマルチモーダル理解モデルです。MoEアーキテクチャを採用し、数十億パラメータのネイティブ解像度Hunyuan ViT視覚エンコーダ、MLPコネクタ、389Bパラメータ・52B活性化のMoE言語モデルで構成されます。任意解像度の画像・映像・3次元空間入力に対応し、多言語理解を強化。写真による問題解法、ビデオ通話、映像理解、コピー制作などの用途に使えます。

Hunyuan-Large-Vision:Tencent Hunyuan視覚モデルファミリーのマルチモーダル理解モデル

Tencent が発表した Hunyuan-Large-Vision は、Hunyuan ビジョン モデル ファミリーに含まれるマルチモーダル理解モデルです。MoE アーキテクチャを採用しており、数十億パラメータのネイティブ解像度 Hunyuan ViT ビジョン エンコーダー、MLP コネクターモジュール、そして 389B パラメータと 52B アクティブパラメータの MoE 言語モデルで構成されています。任意の解像度の画像、動画、3D 空間入力に対応し、特に多言語シナリオの理解能力を強化しています。写真での問題解決、ビデオ通話、動画理解、コピー作成などのシナリオに使用できます。

GyJpyDaaIAAFjmv.webp

📚 モデルアーキテクチャ

  • ビジョン エンコーダー:数十億パラメータのネイティブ解像度 Hunyuan ViT ビジョン エンコーダーで、マルチモーダル タスク専用に最適化されており、ネイティブ解像度の入力をサポートし、さまざまなサイズの画像や動画から視覚情報を正確に捉えます。

  • MLP コネクターモジュール:適応型ダウンサンプリング機構を採用して設計されており、視覚特徴を効率的に圧縮し、ビジョン エンコーダーと言語モデルを接続します。

  • MoE 言語モデル:389B パラメータと 52B アクティブパラメータを含み、強力な多言語理解および推論能力を備えています。

📚 性能パラメータ

  • 国際大規模モデル アリーナ「LMArena Vision ランキング」で 1256 点を獲得し、5 位にランクインしました。国内モデルの中で 1 位であり、性能が際立っています。OpenCompass マルチモーダル学術評価セットの複数の一般的な学術評価において、平均スコア 79.5 を達成し、視覚推論、動画理解、三次元空間理解などの複雑なタスクで優れた性能を発揮します。

📚 機能特徴

  • マルチモーダル入力サポート:任意の解像度の画像、動画、3D 空間など、さまざまな視覚情報を処理できます。

  • 強力な多言語能力:多言語シナリオの理解を特に向上させており、異なる言語で記述された内容を正確に理解し、分析および処理することができます。

  • 技術的優位性

  • 先進的なアーキテクチャ設計:革新的な MoE アーキテクチャにより計算効率とパフォーマンスを両立し、共有エキスパートと専門エキスパートの混合ルーティング戦略により、学習効率とモデル性能を向上させています。

  • 高品質なデータサポート:事前学習には、特定のフローで選別・注釈付けされた画像や動画データなど、大量の高品質なマルチモーダル データが使用され、モデルの学習に豊富な素材を提供しています。

📚 応用シナリオ

  • 写真での問題解決:ユーザーが画像をアップロードすると、モデルが内容に基づいて解答します。例えば、植物の識別や数学の問題の解答などです。

  • ビデオ通話:動画の内容をリアルタイムに分析し、関連情報の提供やインタラクションを行います。例えば、通話参加者の識別やシーン分析などです。

  • 動画理解とコピー作成:動画の要約や分析、関連コピーの生成が可能で、動画の内容に基づいたクリエイティブな創作(動画スクリプトの作成など)もできます。

🌍 体験入口

https://hunyuan.tencent.com/modelSquare/home/list?modelKey=VisionUnderstand