¿Qué es GPT-4o de OpenAI y qué funciones tiene? 230

Openai acaba de lanzar GPT-4o a las 10 a.m. hora del Pacífico del lunes 13 de mayo, un nuevo modelo de inteligencia artificial que combina texto, imágenes, vídeo y voz en un único modelo integral. Puede responder a las necesidades del usuario en tiempo real y contestar mediante voz en tiempo real, pudiéndolo interrumpir en cualquier momento. GPT-4o posee capacidades visuales, puede reconocer objetos y ofrecer respuestas y reacciones rápidas basadas en la visión, con una capacidad de razonamiento lógico muy potente. También es capaz de detectar las emociones del usuario a partir de su voz. ¡Es el doble de rápido que GPT-4 Turbo y un 50% más económico!

¿Qué es GPT-4o?

GPT-4o (la "o" significa "omni") es un paso hacia una interacción humano-máquina más natural: acepta como entrada cualquier combinación de texto, audio e imagen, y genera como salida cualquier combinación de texto, audio e imagen. Puede responder a entradas de audio en tan solo 232 milisegundos, con un promedio de 320 milisegundos, lo que se asemeja al tiempo de respuesta humana en una conversación. Su rendimiento en texto en inglés y código iguala al de GPT-4 Turbo, con una mejora significativa en textos en otros idiomas, a la vez que la API es más rápida y su coste se reduce un 50%. En comparación con los modelos existentes, GPT-4o destaca especialmente en la comprensión visual y auditiva.

Antes de GPT-4o, se podía conversar con ChatGPT usando el modo de voz, con una latencia media de 2,8 segundos (GPT-3.5) y 5,4 segundos (GPT-4). Para conseguirlo, el modo de voz era una canalización compuesta por tres modelos independientes: un modelo simple que transcribía el audio a texto, GPT-3.5 o GPT-4 que recibía el texto y generaba texto, y un tercer modelo simple que volvía a convertir ese texto en audio. Este proceso significaba que la principal fuente de inteligencia, GPT-4, perdía una gran cantidad de información: no podía observar directamente el tono, varios hablantes o el ruido de fondo, ni podía producir risas, cantos ni expresar emociones.

Con GPT-4o, entrenamos un nuevo modelo de extremo a extremo a través de texto, visión y audio, lo que significa que todas las entradas y salidas son procesadas por la misma red neuronal. Dado que GPT-4o es nuestro primer modelo que combina todos estos modos, todavía estamos empezando a explorar superficialmente las capacidades y limitaciones del modelo.

Evaluación del modelo GPT-4o

Según los benchmarks tradicionales, GPT-4o alcanza un rendimiento a nivel de GPT-4 Turbo en inteligencia textual, razonamiento y codificación, al mismo tiempo que establece nuevos estándares en capacidades multilingües, de audio y visuales.

Tokenización de idiomas en GPT-4o

Se eligieron 20 idiomas como representantes para la compresión del nuevo tokenizador a través de diferentes familias lingüísticas.

Seguridad y limitaciones del modelo

GPT-4o incorpora medidas de seguridad en su diseño multimodal mediante técnicas como el filtrado de datos de entrenamiento y el ajuste fino del comportamiento del modelo tras el entrenamiento. También hemos creado nuevos sistemas de seguridad para proporcionar salvaguardas a las salidas de voz.

Evaluamos GPT-4o según nuestro Preparedness Framework y en consonancia con nuestros compromisos voluntarios. Nuestras evaluaciones sobre ciberseguridad, CBRN, persuasión y autonomía del modelo indican que GPT-4o no obtiene una puntuación superior al riesgo medio en ninguna de estas categorías. Esta evaluación implicó ejecutar un conjunto de evaluaciones automatizadas y humanas a lo largo de todo el proceso de entrenamiento del modelo. Probamos las versiones del modelo anteriores y posteriores a las mitigaciones de seguridad, utilizando ajuste fino personalizado y prompts, para explorar mejor las capacidades del modelo.

GPT-4o también colaboró ampliamente con más de 70 equipos rojos externos, expertos externos en campos como la psicología social, los sesgos y la equidad, y la desinformación, para identificar los riesgos introducidos o ampliados por los nuevos modos añadidos. Aprovechamos estas experiencias para desarrollar intervenciones de seguridad que mejoren la seguridad al interactuar con GPT-4o. Seguiremos mitigando los nuevos riesgos que se descubran.

Reconocemos que el modo de audio de GPT-4o plantea diversos riesgos nuevos. Hoy, lanzamos públicamente las entradas de texto e imagen y las salidas de texto. En las próximas semanas y meses, trabajaremos en la infraestructura técnica, la usabilidad tras el entrenamiento y la seguridad necesaria para lanzar los demás modos. Por ejemplo, en el lanzamiento, la salida de audio estará limitada a voces predefinidas y cumplirá con nuestras políticas de seguridad existentes. Compartiremos más detalles sobre todos los modos de GPT-4o en la próxima system card.

Esperamos recibir comentarios que nos ayuden a identificar las tareas en las que GPT-4 Turbo sigue superando a GPT-4o, para poder seguir mejorando el modelo.

Disponibilidad del modelo

GPT-4o es el último paso en nuestra misión de ampliar los límites del aprendizaje profundo, esta vez hacia la utilidad práctica. Durante los últimos dos años, hemos invertido grandes esfuerzos en mejorar la eficiencia de cada capa de nuestra pila. Como primer resultado de esta investigación, podemos ofrecer de forma más amplia modelos del nivel de GPT-4. Las capacidades de GPT-4o se desplegarán de forma iterativa (comenzando hoy con la ampliación del acceso al equipo rojo).

Las funciones de texto e imagen de GPT-4o comienzan a estar disponibles hoy en ChatGPT. Ofrecemos GPT-4o en el plan gratuito y hasta 5 veces más límite de mensajes para los usuarios Plus. Lanzaremos una versión alpha del nuevo modo de voz GPT-4o en ChatGPT Plus en las próximas semanas.

Los desarrolladores también pueden acceder ahora a GPT-4o en la API como modelo de texto y visión. En comparación con GPT-4 Turbo, GPT-4o es el doble de rápido, cuesta la mitad y tiene un límite de velocidad 5 veces mayor. Planeamos lanzar en las próximas semanas el soporte para las nuevas funciones de audio y vídeo de GPT-4o en la API para un pequeño grupo de socios de confianza.

Más detalles sobre GPT-4o: https://openai.com/index/hello-gpt-4o/