MimicBrush:対象画像の選択領域を自動でローカル編集・置換 195

MimicBrush:対象画像の選択領域を自動でローカル編集・置換

MimicBrushは、香港大学とアリババが共同開発した、対象画像の選択領域に対して自動でローカル編集・置換を行う画像編集ツールです。ユーザーは編集したい領域を指定し、参照画像を1枚添えるだけ。MimicBrushが両者のつながりをインテリジェントに捉え、対象画像を参照画像のように変換します。例えば、画像をアップロードして人物の服・髪・背景などの一部分を選び、お気に入りの参照画像をアップロードすれば、MimicBrushが参照画像に基づいて自動的に編集を行います。

MimicBrush:対象画像の選択領域を自動でローカル編集・置換

MimicBrushは、香港大学とアリババが共同で提案した、対象画像の特定領域に対して自動的に部分編集や置換を行う画像編集ツールです。ユーザーは編集したい領域を指定し、参照画像を1枚提供するだけで、MimicBrushが両者の関連性を智能的に捉え、対象画像を参照画像のように変更します。つまり、画像をアップロードし、衣服や髪、背景など画像の中から特定の部分を選択し、お好みの参照画像をアップロードします。MimicBrushは参照画像に基づいて、選択した画像の一部を自動的に編集し、参照画像のように見せることができるため、画像の一部だけを修正し、画像全体を変更する必要がありません。さらにMimicBrushは、参照画像からテクスチャ(レオパード柄、花柄、木目など)を智能的に抽出し、対象画像に置き換えることも可能です。

MimicBrush.gif

MimicBrushの機能特徴:

  • 参照画像の模倣:ユーザーは対象画像上で編集したい特定の領域を指定し、希望するスタイルやオブジェクトを含む参照画像を提供します。MimicBrushは参照画像内の特定の視覚的特徴を分析・模倣し、これらの特徴をソース画像の指定された領域にシームレスに適用することで、スタイルやコンテンツの一貫性を実現します。

  • ゼロショット画像編集:ユーザーは大量のサンプルを提供したり複雑なトレーニングを行うことなく、画像スタイルの変換を実現できます。

  • 自己教師あり学習:MimicBrushは自己教師あり学習技術を利用し、意味的アライメント能力を強化することで、異なる画像間の意味的な対応関係をモデルが自己教師的に捉えることを可能にします。

  • 局所的なスタイル再描画:MimicBrushは1つの画像の一部を別の画像に融合させ、局所的なスタイルの再描画を実現できます。

MimicBrushの使い方:

ユーザーは簡単な手順でウェブ上でMimicBrushを利用できます。まず対象画像をアップロードし、編集領域のマスク画像を描画またはアップロードし、参照画像をアップロードして、クリックするだけで編集を開始できます。

MimicBrushは、EC商品の展示、画像編集、コンテンツ移行などのシナリオに適しています。

プロジェクトアドレス:https://xavierchen34.github.io/MimicBrush-Page/

Github:https://github.com/ali-vilab/MimicBrush

HuggingFace:https://huggingface.co/spaces/xichenhku/MimicBrush