Modelo grande Orion Starry Sky 110

El modelo grande Orion-14B-Base de OrionStar es un modelo grande multilingüe con 14 mil millones de parámetros, entrenado con un conjunto de datos diverso que contiene 2.5 billones de tokens, que abarca múltiples idiomas como chino, inglés, japonés y coreano. Muestra un rendimiento excelente en una serie de tareas en entornos multilingües. En las principales evaluaciones de referencia públicas, la serie de modelos Orion-14B tiene un desempeño destacado, superando significativamente a otros modelos con la misma escala de parámetros en múltiples indicadores.

Dirección de código abierto:

https://github.com/OrionStarai/Orion

https://huggingface.co/OrionStarAI

La serie de modelos grandes Orion-14B de OrionStar presenta las siguientes características:

• Rendimiento de evaluación integral excelente en el modelo base con nivel de 20B de parámetros

• Gran capacidad multilingüe, liderando significativamente en conjuntos de pruebas de japonés y coreano

• El modelo ajustado tiene una gran adaptabilidad y destaca en pruebas ciegas con anotación humana

• La versión de contexto largo admite textos muy extensos, con un rendimiento excelente en una longitud de 200k tokens, y soporta hasta 320k como máximo

• La versión cuantificada reduce el tamaño del modelo en un 70%, aumenta la velocidad de inferencia en un 30%, con una pérdida de rendimiento inferior al 1%

En concreto, la serie de modelos de lenguaje grandes Orion-14B de OrionStar incluye:

• Orion-14B-Base: un modelo base multilingüe con aproximadamente 14 mil millones de parámetros, entrenado con un conjunto de datos diverso de 2.5 billones de tokens.

• Orion-14B-Chat: un modelo de diálogo ajustado con corpus de alta calidad, diseñado para ofrecer una mejor experiencia de interacción con el usuario a la comunidad de modelos grandes.

• Orion-14B-LongChat: con un rendimiento excelente en una longitud de 200k tokens, soporta hasta 320k como máximo, y su rendimiento en conjuntos de evaluación de textos largos es comparable al de modelos propietarios.

• Orion-14B-Chat-RAG: un modelo de chat ajustado con un conjunto de datos personalizado de generación aumentada por recuperación, que logra un rendimiento excepcional en tareas de generación aumentada por recuperación.

• Orion-14B-Chat-Plugin: un modelo de chat personalizado específicamente para tareas de plugins y llamadas a funciones, muy adecuado para escenarios relacionados con el uso de agentes, en los que el modelo de lenguaje grande actúa como sistema de plugins y llamadas a funciones.

• Orion-14B-Base-Int4: un modelo base cuantificado con int4. Reduce significativamente el tamaño del modelo en un 70%, al mismo tiempo que aumenta la velocidad de inferencia en un 30%, con una pérdida mínima de rendimiento de solo el 1%.

• Orion-14B-Chat-Int4: un modelo de diálogo cuantificado con int4.

OrionStar es una empresa líder mundial en soluciones de robots de servicio, fundada en septiembre de 2016. OrionStar se dedica a crear la próxima generación de robots revolucionarios basados en tecnología de inteligencia artificial, permitiendo a las personas liberarse del trabajo físico repetitivo, haciendo que el trabajo y la vida de los seres humanos sean más inteligentes e interesantes, y haciendo que la sociedad y el mundo sean mejores a través de la tecnología.

OrionStar cuenta con tecnologías de inteligencia artificial de cadena completa desarrolladas de forma totalmente independiente, como la interacción por voz y la navegación visual. Integra la capacidad de desarrollo de productos y la capacidad de aplicación tecnológica. Sobre la base de la plataforma de brazos robóticos Orion, ha lanzado productos como ORION STAR AI Robot Greeting, AI Robot Greeting Mini, Lucki y Coffee Master, y ha establecido OrionOS, la plataforma abierta de robots Orion. A través de la filosofía de "nacer para robots realmente útiles", empodera a más personas mediante la tecnología de IA.

Con 7 años de experiencia acumulada en IA, OrionStar ha lanzado la aplicación de modelo grande "Juyan" y ofrece sucesivamente a clientes de diversas industrias soluciones personalizadas de consultoría y servicios de modelos grandes de IA, ayudando verdaderamente a los clientes a lograr el objetivo de liderar a sus competidores en eficiencia operativa empresarial.

OrionStar posee la ventaja clave de contar con capacidad de aplicación de modelos grandes de cadena completa, incluida la capacidad y experiencia acumulada en toda la cadena, desde el procesamiento de datos masivos, el preentrenamiento de modelos grandes, el preentrenamiento secundario, el ajuste fino (Fine-tune), la ingeniería de prompts (Prompt Engineering) y el desarrollo de agentes; posee una capacidad completa de entrenamiento de modelos de extremo a extremo, incluidos procesos sistemáticos de procesamiento de datos y capacidad de entrenamiento de modelos en paralelo con cientos de GPUs, y ya se ha implementado en múltiples escenarios industriales como gobierno digital, servicios en la nube, comercio electrónico internacional y bienes de consumo rápido.