Stable Diffusion 3: 어떤 개선과 향상이 이루어졌나? 185

목요일에, Stability AI가 Stable Diffusion 3 출시를 발표했습니다. 이는 해당 회사의 이미지 생성 ai 모델 중 가장 최신이며 가장 강력한 버전입니다. 이 모델은 확산 변환기(diffusion transformer) 아키텍처를 채택하여 다중 주제 프롬프트, 이미지 품질 및 철자 능력에서 성능을 크게 향상시켰습니다.

Stable Diffusion 3은 업데이트된 "확산 변환기(diffusion transformer)"를 사용합니다. 이 기술은 2022년에 처음 등장했지만 2023년에 개정되어 이제 확장성을 달성했습니다. OpenAI의 인상적인 비디오 생성기인 Sora도 분명히 유사한 원리를 따르고 있습니다(논문의 공동 저자인 Will Peebles가 Sora 프로젝트를 계속 공동 이끌고 있습니다).Stable Diffusion 3 시리즈 모델("프롬프트"라고 불리는 텍스트 설명을 받아 일치하는 이미지로 변환함)의 크기는 매개변수 8억 개에서 80억 개까지 다양합니다. 크기 범위를 통해 다양한 버전의 모델이 스마트폰부터 서버까지 다양한 장치에서 로컬로 실행될 수 있습니다.

Stable Diffusion 3의 성능 향상 및 개선:

1, 강화된 다중 주제 처리 능력: 새 모델은 여러 주제나 요소를 포함하는 프롬프트에 대한 이해 및 처리 능력을 크게 향상시켰습니다. 이를 통해 사용자는 단일 프롬프트에서 더 복잡한 장면을 묘사할 수 있으며, 모델은 이러한 설명을 기반으로 더 정확하게 이미지를 생성할 수 있습니다.

2, 이미지 품질 향상: Stable Diffusion 3은 생성되는 이미지의 품질에서 상당한 향상을 이루었으며, 더 세밀한 디테일 표현, 더 정확한 색상 매칭, 그리고 더 자연스러운 빛과 그림자 효과를 포함합니다. 이러한 발전은 생성된 이미지를 더욱 사실적으로 만들고, 사용자의 창의적 의도를 더 잘 포착합니다.

3, 개선된 철자 및 텍스트 처리: 이 버전은 텍스트 요소가 포함된 이미지(예: 슬로건, 라벨 등)를 처리할 때 더 우수한 철자 및 텍스트 이해 능력을 보여줍니다. 이는 모델이 복잡한 시각적 배경에서도 프롬프트 내의 텍스트를 더 정확하게 인식하고 렌더링할 수 있음을 의미합니다.

4, 새로운 확산 변환 기술 채택: Stable Diffusion 3은 Sora와 유사한 새로운 유형의 확산 변환 기술을 도입하여 모델에 더욱 강력한 이미지 생성 능력을 부여했습니다. Transformer는 이미지 디테일을 점진적으로 구축하도록 설계된 딥러닝 모델로, 고품질의 시각적 콘텐츠를 생성합니다.

5, 플로우 매칭 및 기타 기술 개선: 모델은 생성 이미지의 품질과 다양성을 더욱 향상시키기 위해 플로우 매칭(flow matching) 기술 및 기타 기술 개선을 통합했습니다. 플로우 매칭 기술은 모델이 이미지 내의 동적 요소와 구조를 더 잘 이해하고 시뮬레이션하도록 도와, 생성된 이미지를 시각적으로 더 일관되고 자연스럽게 만듭니다.

6, Transformer 기술의 발전 활용: Stable Diffusion 3은 Transformer 기술의 최신 발전을 충분히 활용하여 모델의 능력을 확장했을 뿐만 아니라 다중 모달 입력을 처리할 수 있게 했습니다. 이는 모델이 텍스트와 이미지를 결합한 입력 등 더욱 복잡하고 다양한 데이터 유형을 처리할 수 있음을 의미하며, 이미지 콘텐츠를 이해하고 생성하는 데 있어 더 많은 유연성과 정확성을 제공합니다.

현재 일부 핵심 기술 혁신이 언급되었음에도 불구하고, Stability AI는 더 많은 기술 세부 사항을 곧 발표할 계획입니다. 이러한 세부 사항은 기술 커뮤니티 및 관심 있는 사용자에게 Stable Diffusion 3의 기술 기반과 혁신 포인트에 대한 깊은 이해를 제공할 것입니다.

Stable Diffusion 3이 아직 널리 활용되지 못하고 있지만, Stability는 테스트가 종료되는 대로 사용자가 가중치를 무료로 다운로드하여 로컬 환경에서 실행할 수 있다고 말했습니다. Stability는 성명에서 언급했습니다: "이전 모델의 프리뷰 단계와 마찬가지로, 이 단계는 정식 출시 전에 피드백을 수집하고, 성능을 최적화하며, 안전성을 향상시키는 데 매우 중요합니다."

최근 Stability는 다양한 이미지 합성 기술을 지속적으로 탐색해 왔습니다. SDXL 및 SDXL Turbo 외에도, 해당 회사는 지난주에 텍스트-이미지 변환 합성 기술인 3단계 프로세스를 통한 Stable Cascade를 출시했습니다. 또한 Stability AI의 또 다른 텍스트-비디오 및 이미지-비디오 제품인 Stable Video도 이번 공개 베타 테스트에서 출시되어 사용자에게 더 많은 선택지를 제공했습니다.