Помощник сценариста▸ 
AI Приложения 
AI Новости 
视界一粟 YiSu: видеогенеративная модель уровня Sora
视界一粟 YiSu: видеогенеративная модель уровня SoraОписание
视界一粟 YiSu — это модель генерации видео уровня Sora, высокой стоимостной эффективности, доступная на устройствах, совместно выпущенная компанией Beijing Jiajia Shijie Technology Co., Ltd. и факультетом автоматизации Университета Цинхуа. 视界一粟 YiSu основана на собственных разработках и объединяет LLM и диффузионные модели, демонстрируя мощные возможности мультимодального слияния. 11 июня 2024 года модель была официально представлена на Дне демонстрации проектов MiraclePlus.
Веб-сайт проекта 视界一粟 YiSu: https://world-dreamer.github.io/
Адрес на GitHub: https://github.com/JeffWang987/WorldDreamer
Функции 视界一粟 YiSu:
Сверхдлительная продолжительность: модель изначально поддерживает генерацию видео длительностью 16 секунд и может быть расширена до более чем 1 минуты.
Высокая производительность: обладает сверхбольшим диапазоном движения, мощной выразительностью, а также способностью понимать физический мир, что делает сгенерированное видео более реалистичным и естественным.
Доступность на устройствах: модель может работать непосредственно на терминальных устройствах без облачной поддержки.
Понимание физического мира: модель способна понимать и моделировать законы физического мира.
Низкая стоимость и высокая эффективность: модель YiSu имеет более низкие эксплуатационные расходы, более высокую скорость вывода и подходит для терминальных устройств.
Постоянная итерация и оптимизация: модель будет быстро развиваться и совершенствоваться с итерациями — небольшая версия каждую неделю и крупная версия каждый месяц. В ближайшие несколько месяцев ожидаются значительные улучшения в длительности видео, управляемости, скорости вывода, эксплуатационных расходах и понимании физического мира.
Технические особенности 视界一粟 YiSu
Собственная архитектура: самостоятельно разработанная архитектура, объединяющая LLM и диффузионные модели, сочетая преимущества различных технических подходов.
Мультимодальное слияние: оптимизация в обработке мультимодальных данных.
Эффективность обучения и вывода: оптимизация эффективности обучения и вывода модели.
Качество модели: оптимизация качества и эффектов видео.
Сценарии применения 视界一粟 YiSu:
Развлечения и медиа:
Создание анимации: автоматическая генерация анимационных последовательностей, ускорение процесса создания анимации.
Музыкальные клипы: создание уникального контента для музыкальных видео.
Создание спецэффектов: генерация спецэффектов для фильмов и сериалов.
Образование и обучение:
Интерактивное обучение: создание интерактивных учебных видео для повышения эффективности обучения.
Моделирование экспериментов: создание виртуальных лабораторных сред для демонстрации научных экспериментов.
Реклама и маркетинг:
Рекламные креативы: быстрая генерация привлекательных рекламных видео.
Демонстрация продуктов: создание подробных видеообзоров и демонстраций продуктов.
Социальные сети:
Пользовательский контент: помощь пользователям в легком создании качественных видео для социальных сетей.
Виртуальные айдолы: создание виртуальных персонажей для прямых трансляций или интерактивного взаимодействия.
Электронная коммерция:
Демонстрация товаров: генерация 360-градусных видеороликов с демонстрацией товаров.
Отзывы клиентов: моделирование использования и оценки продуктов пользователями.
Автономное вождение и роботы:
Имитационное обучение: предоставление данных для моделирования и обучения систем автономного вождения и роботов.
Восприятие окружающей среды: улучшение понимания транспортными средствами и роботами окружающей обстановки.
Разработка игр:
Игровые трейлеры: автоматическая генерация игровых трейлеров и рекламных видео.
Генерация игрового контента: создание внутриигровой анимации и сюжетного контента.
Виртуальная реальность (VR) и дополненная реальность (AR):
Создание VR-контента: предоставление богатого визуального контента для приложений виртуальной реальности.
Улучшение AR-опыта: усиление визуальных эффектов в приложениях дополненной реальности.
Безопасность и видеонаблюдение:
Моделирование инцидентов: моделирование инцидентов безопасности для обучения и тренировки.
Видеоаналитика: повышение возможностей анализа систем видеонаблюдения.
Здравоохранение:
Медицинское образование: создание обучающих видео по анатомии и хирургическим процедурам.
Обучение пациентов: предоставление пациентам визуальных объяснений заболеваний и лечения.
Beijing Jiajia Shijie Technology Co., Ltd. — стартап-компания, специализирующаяся на больших AI-моделях. Основные члены компании — выпускники известных университетов, таких как Университет Цинхуа и Китайская академия наук, а также сотрудники известных компаний, таких как Microsoft, Alibaba и Baidu, обладающие передовыми технологиями и опытом в области AI.
