바이트댄스 동영상 생성 모델 PixelDance와 Seaweed, Jimeng AI에서 정식 출시 203

2024년 11월 15일, 바이트댄스의 두 가지 비디오 생성 모델 PixelDance와 Seaweed가 지멍AI 플랫폼에서 정식으로 출시되었습니다. 현재 웹 버전과 모바일 앱 모두 이 두 모델의 사용을 지원하며, 이 두 모델은 대중에게 무료로 개방되어 사용자는 지멍 ai의 "비디오 생성"을 통해 이 기능을 체험할 수 있습니다.

PixelDance 모델은 텍스트 투 비디오와 이미지 투 비디오를 지원하며, 최대 10초 길이의 고품질 비디오 클립을 생성할 수 있습니다. 인물 동작이 사진과 같은 사실감을 갖추고 있어, 복잡한 동작 표현에서 OpenAI의 Sora 모델이 가진 한계를 넘어섰습니다. Seaweed 모델은 이미지 투 비디오 시나리오에서 우수한 첫 프레임 일관성을 보여 사용자가 입력한 이미지와 일관성을 유지하며, 동시에 효율적인 생성 능력을 갖추고 있어 단 60초 만에 5초 길이의 고품질 비디오 생성을 완료할 수 있어, 국내 업계 표준인 3~5분을 훨씬 뛰어넘습니다.

모델 기능

• PixelDance 기능: 마법 같은 특수 효과를 생성할 수 있으며, 시계열 프롬프트 및 롱샷 등의 기법을 사용하는 데 적합합니다.

• Seaweed 기능: 이미지 투 비디오 시나리오에서 우수한 첫 프레임 일관성을 보여주며, 사용자가 입력한 이미지의 일관성과 색상 등 세부 사항을 충실히 재현합니다.

• 镜头切换: 10초 비디오 생성 시 PixelDance는镜头를 3~5회 전환하는 효과가 가장 뛰어나며, 장면과 캐릭터가 매우 좋은 일관성을 유지합니다.

• 시각 효과: Seaweed 모델은 큰 폭의 움직임 화면을 매끄럽고 자연스럽며 사실감 있게 구현합니다.

• 프롬프트 설명: 소폭적이고 점진적인 프롬프트 설명을 통해 PixelDance는 마법 같은 특수 효과를 생성할 수 있습니다.

응용 시나리오

• 디자인 분야: 두 모델은 디자인 분야에 적용되어 크리에이터가更具 창의적인 디자인 작업을 구현하는 데 도움을 줄 수 있습니다.

• 영상 제작: 영상 제작에서 이러한 모델은 특수 효과와 복잡한 장면을 생성하는 데 사용될 수 있습니다.

• 애니메이션 창작: 모델은 애니메이션 창작을 지원하며, 매끄럽고 자연스러운 애니메이션 효과를 생성할 수 있습니다.

• 전문 창작: Jianying, 지멍AI 등 비즈니스 시나리오를 거쳐打磨된 모델은 전문 크리에이터와 예술가에게 더 잘 serves합니다.

• 스토리 창작: 지멍AI 플랫폼이 제공하는 기능은 스토리 창작에 도움이 되며, 창작 효율성을 높여줍니다.

이 두 모델의 출시, 특히 PixelDance는 의미 이해, 인물 동작 처리, 다중镜头 전환의 일관성 측면에서 업계先进 수준에 도달한 바이트댄스의 비디오 생성 기술 성숙도를 잘 보여줍니다.