Помощник сценариста▸ 
AI Приложения 
AI Новости 
Orion Starry Sky — большая языковая модель
Orion Starry Sky — большая языковая модельОписание
Большая модель Orion-14B-Base от Orion Star — это многоязычная большая модель с 14 миллиардами параметров, обученная на разнообразном наборе данных объёмом 2,5 триллиона токенов, охватывающем такие языки, как китайский, английский, японский, корейский и другие. Она демонстрирует выдающуюся производительность в ряде задач в многоязычной среде. В основных открытых бенчмарках серия моделей Orion-14B показывает превосходные результаты, значительно превосходя другие модели аналогичного уровня параметров по множеству показателей.
Адрес открытого исходного кода:
https://github.com/OrionStarai/Orion
https://huggingface.co/OrionStarAI
Серия больших моделей Orion-14B от Orion Star обладает следующими особенностями:
Базовая модель уровня 20B параметров показывает отличные результаты в комплексной оценке
Мощные многоязыковые возможности, значительно опережающие конкурентов в японских и корейских тестовых наборах
Высокая адаптивность дообученной модели, выделяющаяся в слепых тестах с участием людей-аннотаторов
Версия с длинным контекстом поддерживает сверхдлинные тексты, обеспечивая превосходное качество при длине 200k токенов и максимальную поддержку до 320k
Квантованная версия уменьшает размер модели на 70%, увеличивает скорость вывода на 30% при потере производительности менее 1%
В частности, серия больших языковых моделей Orion-14B от Orion Star включает:
Orion-14B-Base: многоязычная базовая модель с 14 миллиардами параметров, обученная на разнообразном наборе данных объёмом 2,5 триллиона токенов.
Orion-14B-Chat: диалоговая модель, дообученная на высококачественном корпусе данных, призванная обеспечить сообществу больших моделей лучший пользовательский опыт взаимодействия.
Orion-14B-LongChat: обеспечивает превосходное качество при длине контекста 200k токенов с максимальной поддержкой до 320k, а также производительность на наборах для оценки длинных текстов, сопоставимую с проприетарными моделями.
Orion-14B-Chat-RAG: диалоговая модель, дообученная на специально подготовленном наборе данных для генерации с дополнением извлечённой информацией (RAG), демонстрирующая выдающуюся производительность в задачах RAG.
Orion-14B-Chat-Plugin: диалоговая модель, специально разработанная для задач с плагинами и вызовом функций, идеально подходящая для сценариев использования агентов, где большая языковая модель выступает в роли системы плагинов и вызова функций.
Orion-14B-Base-Int4: базовая модель, квантованная с использованием int4. Она значительно уменьшает размер модели на 70%, одновременно увеличивая скорость вывода на 30% при минимальной потере производительности всего в 1%.
Orion-14B-Chat-Int4: диалоговая модель, квантованная с использованием int4.
Orion Star — это ведущая мировая компания, предоставляющая решения в области сервисных роботов, основанная в сентябре 2016 года. Orion Star стремится создавать революционных роботов следующего поколения на основе технологий искусственного интеллекта, позволяющих людям избавиться от повторяющегося физического труда, делая работу и жизнь людей более интеллектуальной и интересной, а также совершенствуя общество и мир с помощью технологий.
Orion Star обладает полностью自主开发的全цепными технологиями искусственного интеллекта, такими как голосовое взаимодействие и визуальная навигация. Компания объединяет возможности разработки продуктов и применения технологий. Основываясь на платформе роботизированных манипуляторов Orion, она выпустила такие продукты, как ORION STAR AI Robot Greeting, AI Robot Greeting Mini, Lucki, Coffee Master, а также создала открытую платформу для роботов Orion — OrionOS. Руководствуясь концепцией «Роботы, созданные для реальной пользы», компания расширяет возможности большего числа людей с помощью технологий ИИ.
Благодаря 7-летнему опыту в области ИИ, Orion Star запустила глубокое прикладное решение на основе большой модели «Juyan» и последовательно предлагает отраслевым клиентам индивидуальные консалтинговые и сервисные решения на основе больших моделей ИИ, действительно помогая клиентам достичь целей по опережению конкурентов в операционной эффективности бизнеса.
Orion Star обладает ключевым преимуществом полного цикла возможностей применения больших моделей, включая накопленный опыт и компетенции на всех этапах: обработка огромных объёмов данных, предварительное обучение больших моделей, вторичное предварительное обучение, дообучение (Fine-tune), Prompt Engineering, разработка агентов. Компания обладает полными возможностями сквозного обучения моделей, включая систематизированный процесс обработки данных и возможности параллельного обучения моделей на сотнях GPU, и уже внедрила решения в таких отраслевых сценариях, как государственное управление, облачные сервисы, трансграничная электронная коммерция, FMCG и других.
