Stable Diffusion 3：有哪些提升と改良点？ 189

木曜日、Stability AIは、Stable Diffusion 3の発表を行いました。これは、同社の画像生成aiモデルにおける最新かつ最も強力なバージョンです。このモデルは拡散トランスフォーマーアーキテクチャを採用しており、複数の主題を含むプロンプト、画像品質、スペル能力においてパフォーマンスを大幅に向上させています。

Stable Diffusion 3は、更新された「拡散トランスフォーマー」を使用しています。この技術は2022年に初めて開発されましたが、2023年に改良され、現在ではスケーラビリティが実現されています。OpenAIの印象的な動画ジェネレーターであるSoraも、明らかに同様の原理に従っています（この論文の共著者であるWill Peeblesは、現在Soraプロジェクトを共同リードしています）。Stable Diffusion 3のモデルシリーズ（「プロンプト」と呼ばれるテキスト記述を受け取り、一致する画像に変換する）は、8億から80億パラメータまでのサイズがあります。サイズ範囲により、モデルのさまざまなバージョンが、スマートフォンからサーバーまで、さまざまなデバイス上でローカルに実行できます。

Stable Diffusion 3のパフォーマンス向上と改善：

1、複数主題の処理能力の強化：新モデルは、複数の主題や要素を含むプロンプトの理解と処理能力を大幅に向上させました。これにより、ユーザーは単一のプロンプト内により複雑なシーンを記述することが可能となり、モデルはこれらの記述に基づいてより正確に画像を生成できます。

2、画像品質の向上：Stable Diffusion 3は、生成される画像の品質において大幅な向上を実現しました。これには、より精細なディテール表現、より正確な色マッチング、より自然な光と影の効果が含まれます。これらの進歩により、生成される画像はよりリアルになり、ユーザーのクリエイティブな意図をより忠実に捉えます。

3、スペルとテキスト処理の改善：このバージョンは、スローガンやラベルなど、テキスト要素を含む画像を処理する際に、優れたスペル能力とテキスト理解能力を発揮します。これは、複雑な視覚的状況下であっても、モデルがプロンプト内のテキストをより正確に認識しレンダリングできることを意味します。

4、新型拡散トランスフォーマー技術の採用：Stable Diffusion 3は、Soraに類似した新型拡散トランスフォーマー技術を導入し、モデルにより強力な画像生成能力を与えています。トランスフォーマーは段階的に画像のディテールを構築するように設計されたディープラーニングモデルであり、高品質な視覚コンテンツを生成します。

5、フローマッチングおよびその他の技術改善：モデルは、生成される画像の品質と多様性をさらに向上させるために、フローマッチング技術やその他の技術改善を統合しています。フローマッチング技術は、モデルが画像内の動的な要素や構造をよりよく理解しシミュレートするのに役立ち、生成される画像を視覚的により一貫性のある自然なものにします。

6、トランスフォーマー技術の進歩の活用：Stable Diffusion 3は、トランスフォーマー技術の最新の進歩を十分に活用しており、モデルの能力を拡張するだけでなく、マルチモーダル入力を処理することを可能にします。これは、モデルがテキストと画像の組み合わせなど、より複雑で多様なデータタイプを処理できることを意味し、画像コンテンツの理解と生成においてより柔軟性と正確性を提供します。

いくつかの主要な技術革新についてはすでに言及されていますが、Stability AIはさらなる技術詳細を間もなく公開する予定です。これらの詳細は、技術コミュニティや関心のあるユーザーに対して、Stable Diffusion 3の技術基盤と革新点に関する深い理解を提供するでしょう。

Stable Diffusion 3はまだ広く利用されていませんが、Stabilityは、テストが終了次第、ユーザーがその重みを無料でダウンロードし、ローカル環境で実行できると述べています。Stabilityは声明の中で次のように述べています。「以前のモデルのプレビュー段階と同様、この段階は、正式リリース前にフィードバックを収集し、パフォーマンスを最適化、セキュリティを向上させるために極めて重要です。」

最近、Stabilityはさまざまな画像合成技術を探求しています。SDXLおよびSDXL Turboに加えて、同社は先週、テキストから画像への合成技術である3段階プロセスによるStable Cascadeも発表しました。また、Stability AIのもう一つのテキストから動画および画像から動画への製品であるStable Videoも、このパブリックベータでリリースされ、ユーザーにさらなる選択肢を提供します。