脚本プランナー▸ 
AIアプリ 
AIニュース Alibaba、オープンソース大規模モデル「Qwen2.5-1M」を正式リリース
小编 ·
Alibaba、オープンソース大規模モデル「Qwen2.5-1M」を正式リリース
アリババは2025年1月27日にオープンソースの大規模モデルQwen2.5-1Mシリーズを正式にリリースしました。これはTongyi Qianwen（通義千問）チームにとって、オープンソースモデルのコンテキスト長を初めて100万トークン（約10冊の長編小説または3万行のコードに相当）まで拡張したものであり、長文処理性能においても顕著なブレークスルーを実現しました。
一、Qwen2.5-1Mの主な特徴
超長コンテキストサポート：Qwen2.5-1Mモデルは最大100万トークンのコンテキスト処理をサポートしており、これは約100万の英単語または150万の漢字に相当します。この特性により、書籍、法律文書、長編レポートなどの長文ドキュメントを煩雑なテキスト分割を行うことなく処理することが可能になります。
複数のモデルサイズ：今回リリースされたモデルにはQwen2.5-7B-Instruct-1MとQwen2.5-14B-Instruct-1Mが含まれており、異なるパラメータ規模を提供することで、さまざまなアプリケーションシナリオのニーズに対応します。
効率的な推論フレームワーク：QwenチームはvLLMに基づく推論フレームワークをオープンソース化し、スパースアテンション機構を統合することで、1Mトークンの入力を処理する際の速度を3倍から7倍に向上させました。この効率性により、開発者はモデルをより迅速にデプロイし、適用することが可能になります。
性能上の優位性：長文タスクにおいて、Qwen2.5-1Mモデルのパフォーマンスは以前の128Kバージョンを顕著に凌駕しており、特に64Kを超える長さのタスクを処理する際に、より強力な能力を発揮します。
二、モデルの特性とパフォーマンス
長コンテキスト処理能力
100万トークンサポート：Qwen2.5-1Mシリーズには7Bと14Bの2つのバージョンが含まれており、ネイティブで1Mトークンのコンテキスト長をサポートし、長文ドキュメント、コードリポジトリ、または複雑なマルチターン会話をセグメント入力なしで処理できます。
高精度な検索と理解：「大海撈針（Passkey Retrieval）」タスクにおいて、モデルは1Mトークンのドキュメントから隠された情報を正確に抽出でき、7Bバージョンで少数のエラーが発生したのみです。RULER、LV-evalなどの長文理解ベンチマークテストでは、14Bバージョンが独自のクローズドソースモデルQwen2.5-TurboおよびOpenaiのGPT-4o-miniを安定的に上回るパフォーマンスを示しました。
短文タスクとの互換性
7Bおよび14Bモデルは、Q&Aや要約などの短文タスクにおいて128Kバージョンと同等のパフォーマンスを発揮し、長コンテキスト能力の強化によって基本性能が犠牲になることはありません。例えば、14Bモデルは短文タスクでGPT-4o-miniに近いパフォーマンスを示しますが、コンテキスト長は8倍です。
三、技術的ブレークスルーとオープンソースフレームワーク
段階的トレーニングと長さ外挿
段階的な拡張：事前トレーニングから教師あり微調整まで、コンテキスト長を4Kから256Kへと段階的に拡張し、強化学習によって短文アラインメント能力を最適化します。
Dual Chunk Attention（DCA）：革新的な位置エンコーディング外挿技術を導入し、追加トレーニングなしにモデルのサポートするコンテキスト長を256Kから1Mへと拡張し、長距離位置エンコーディングにおけるアテンション劣化問題を解決しました。
効率的な推論の最適化
スパースアテンション機構：vLLMフレームワークに基づきスパースアテンション（MInference）を統合し、チャンクプリフィルと動的並列技術を組み合わせることで、1Mトークン入力の推論速度を3.2～6.7倍に向上させ、メモリ使用量を大幅に削減します（例えば、7Bモデルの活性化メモリは96.7%削減）。
オープンソースフレームワークのサポート：推論フレームワークとトレーニング技術レポートを完全にオープンソース化し、開発者はモデルを迅速にデプロイでき、FP8量子化をサポートしてハードウェア要件を低減します。
四、アプリケーションシナリオ
テキスト生成：Qwen2.5-1Mモデルは長編記事、レポート、ストーリーの生成に使用でき、コンテンツ制作やニュースライティングなどの分野に適しています。
情報検索：超長コンテキスト処理能力により、モデルは長文内での効果的な情報検索が可能であり、法律、医療など大量のドキュメントを処理する必要がある業界での使用に適しています。
対話システム：このモデルは複雑な対話内容を理解し生成する intelligent な対話システムの構築に使用でき、ユーザー体験を向上させます。
マルチモーダルアプリケーション：Qwen2.5-1Mモデルの設計により、画像、音声などの他のモダリティと組み合わせることができ、マルチモーダル理解および生成タスクへの応用範囲を拡張します。
Qwen2.5-1Mのリリースは、オープンソースモデルにおける超長コンテキスト処理分野のギャップを埋めただけでなく、技術革新とエコシステムのオープン化を通じて、開発者に高性能かつ低い参入障壁のツール選択肢を提供します。その成功は、長文アプリケーションに関する世界のAI産業の探索を加速し、AGI競争におけるオープンソースコミュニティの役割のアップグレードを促進する可能性があります。
