MILS: метод Meta, позволяющий LLM получить мультимодальные способности без обучения 118

MILS (Meta Interpretive Learning System), открытая модель ai, выпущенная Meta, которая позволяет LLM обретать мультимодальные способности без обучения. В отличие от традиционных методов обучения, MILS нацелена на предоставление большим языковым моделям (LLM) возможности обработки визуальных и звуковых задач без дополнительного обучения под конкретные задачи. Она способна понимать изображения, видео и распознавать звуки, обеспечивая обучение с нулевым количеством примеров.

MILS сочетает в себе преимущества глубокого обучения и интерпретируемого обучения, что позволяет ей показывать отличные результаты в широком спектре задач, особенно в сложных сценариях, требующих понимания и рассуждений.

MILS состоит в основном из двух модулей: генератора, отвечающего за создание кандидатных решений, и оценщика, используемого для оценки качества кандидатных решений, созданных генератором. Благодаря итерационному процессу решение мультимодальных задач достигается без дополнительного обучения.

Особенности MILS включают поддержку множества языков и мультимодальных входных данных, возможность обработки текстовых, визуальных и аудиоданных. MILS может применяться для различных мультимодальных задач, таких как описание изображений/видео/аудио, улучшение генерации изображений, перенос стиля и другие.

Ключевые особенности и принцип работы MILS

• Генерация с нулевым количеством примеров: ядром MILS является её способность к обучению с нулевым количеством примеров, что означает, что модель способна решать мультимодальные задачи без прямого обучения под конкретные модальные задачи. Благодаря механизму итеративной обратной связи модель постепенно улучшает генерируемые выходные данные, достигая высококачественных мультимодальных описаний или генерации.

• Итеративный цикл обратной связи: в процессе генерации MILS сначала позволяет языковой модели создать предварительный мультимодальный вывод (например, описание изображения) на основе текстовой подсказки. Затем этот вывод используется в качестве входных данных, и модель снова пытается сгенерировать или оптимизировать результат. Благодаря постоянной самостоятельной обратной связи и корректировке в итоге достигается удовлетворительное решение.

• Использование потенциала предобученных моделей: MILS опирается на предобученные знания больших языковых моделей, которые уже изучили огромные объёмы текстовых данных, что позволяет им понимать сложную семантику и контекст. Таким образом, MILS способна использовать внутренние возможности этих моделей для перехода к пониманию и генерации нетекстовых данных, таких как изображения и звуки.

Статья: https://arxiv.org/pdf/2501.18096

Github: https://github.com/facebookresearch/MILS