Qu'est-ce que GPT-4o d'OpenAI et quelles sont ses fonctionnalités ? 229

Openai vient de publier GPT-4o lundi 13 mai à 10h, heure du Pacifique, un nouveau mode d'intelligence artificielle, un modèle polyvalent combinant texte, images, vidéo et voix.

Il peut répondre aux besoins des utilisateurs en temps réel et répondre à l'oral en temps réel ; vous pouvez l'interrompre à tout moment. GPT-4o possède des capacités visuelles, peut reconnaître des objets et fournir des réponses et des réactions rapides basées sur la vision, avec de très fortes capacités de raisonnement logique. Il est également capable de détecter les émotions des utilisateurs à partir de leur voix.

Sa vitesse est 2 fois plus rapide que GPT-4 Turbo et son prix est 50 % moins cher !

Qu'est-ce que GPT-4o ?

GPT-4o (« o » pour « omni ») est une étape vers une interaction homme-machine plus naturelle — il accepte en entrée n'importe quelle combinaison de texte, d'audio et d'images, et génère en sortie n'importe quelle combinaison de texte, d'audio et d'images. Il peut répondre à des entrées audio en aussi peu que 232 millisecondes, avec une moyenne de 320 millisecondes, ce qui est similaire au temps de réponse humain dans une conversation. Ses performances en texte anglais et en code correspondent à celles de GPT-4 Turbo, avec une amélioration significative sur les textes non anglais, tandis que l'API est également plus rapide, avec un coût réduit de 50 %. Comparé aux modèles existants, GPT-4o excelle particulièrement dans la compréhension visuelle et audio.

Avant GPT-4o, vous pouviez utiliser le mode vocal avec ChatGPT, avec une latence moyenne de 2,8 secondes (GPT-3.5) et 5,4 secondes (GPT-4). Pour y parvenir, le mode vocal était composé d'un pipeline de trois modèles distincts : un modèle simple transcrivait l'audio en texte, GPT-3.5 ou GPT-4 recevait le texte et produisait du texte, et un troisième modèle simple reconvertissait ce texte en audio. Ce processus signifiait que la principale source d'intelligence, GPT-4, perdait beaucoup d'informations — il ne pouvait pas observer directement le ton, plusieurs locuteurs ou le bruit de fond, et ne pouvait pas non plus produire de rires, de chants ou exprimer des émotions.

Avec GPT-4o, nous avons entraîné de bout en bout un nouveau modèle à travers le texte, la vision et l'audio, ce qui signifie que toutes les entrées et sorties sont traitées par le même réseau neuronal. GPT-4o étant notre premier modèle combinant tous ces modes, nous n'en sommes encore qu'à explorer de manière superficielle les capacités et les limites de ce modèle.

Évaluation du modèle GPT-4o

Selon les benchmarks traditionnels, GPT-4o atteint des performances de niveau GPT-4 Turbo en matière de texte, de raisonnement et d'intelligence de codage, tout en établissant de nouveaux sommets dans les capacités multilingues, audio et visuelles.

Tokenisation linguistique de GPT-4o

20 langues ont été sélectionnées comme représentatives de la compression du nouveau tokeniseur à travers différentes familles linguistiques.

Sécurité et limites du modèle

GPT-4o intègre la sécurité dans sa conception multimodale grâce à des techniques telles que le filtrage des données d'entraînement et le raffinement du comportement du modèle après entraînement. Nous avons également créé de nouveaux systèmes de sécurité pour fournir des garde-fous pour les sorties vocales.

Nous avons évalué GPT-4o selon notre cadre Preparedness Framework et conformément à nos engagements volontaires. Nos évaluations sur la cybersécurité, le CBRN, la persuasion et l'autonomie du modèle indiquent que GPT-4o n'obtient pas un score supérieur au risque modéré dans aucune de ces catégories. Cette évaluation a impliqué l'exécution d'un ensemble d'évaluations automatisées et humaines tout au long du processus d'entraînement du modèle. Nous avons testé les versions pré-atténuation et post-atténuation de sécurité du modèle en utilisant du fine-tuning personnalisé et des prompts pour mieux stimuler les capacités du modèle.

GPT-4o a également fait l'objet d'une collaboration approfondie avec plus de 70 experts externes issus de domaines tels que la psychologie sociale, les biais et l'équité, ainsi que la désinformation, afin d'identifier les risques introduits ou amplifiés par les nouveaux modes ajoutés. Nous avons utilisé ces enseignements pour développer des interventions de sécurité visant à améliorer la sécurité des interactions avec GPT-4o. Nous continuerons à atténuer les nouveaux risques identifiés.

Nous reconnaissons que le mode audio de GPT-4o apporte de nouveaux risques. Aujourd'hui, nous publions publiquement les entrées texte et image ainsi que les sorties texte. Au cours des prochaines semaines et des prochains mois, nous travaillerons sur l'infrastructure technique, la disponibilité après entraînement et la sécurité nécessaire à la publication des autres modes. Par exemple, lors de la publication, la sortie audio sera limitée à une sélection de voix prédéfinies et sera conforme à nos politiques de sécurité existantes. Nous partagerons davantage de détails sur l'ensemble des modes de GPT-4o dans la fiche système à venir.

Nous espérons recevoir des retours pour aider à identifier les tâches où GPT-4 Turbo surpasse encore GPT-4o, afin que nous puissions continuer à améliorer le modèle.

Disponibilité du modèle

GPT-4o est la dernière initiative qui repousse les limites du deep learning, cette fois-ci dans le sens de la praticité. Au cours des deux dernières années, nous avons consacré d'importants efforts à améliorer l'efficacité de chaque couche de la pile. Premier résultat de ces recherches, nous sommes en mesure de proposer plus largement un modèle de niveau GPT-4. Les capacités de GPT-4o seront déployées de manière itérative (en commençant aujourd'hui par l'élargissement de l'accès à la red team).

Les fonctionnalités texte et image de GPT-4o commencent à être déployées aujourd'hui dans ChatGPT. Nous proposons GPT-4o dans l'offre gratuite, avec une limite de messages jusqu'à 5 fois supérieure pour les utilisateurs Plus. Nous lancerons dans les prochaines semaines une version alpha du nouveau mode vocal GPT-4o dans ChatGPT Plus.

Les développeurs peuvent désormais également accéder à GPT-4o dans l'API en tant que modèle texte et visuel. Par rapport à GPT-4 Turbo, GPT-4o est 2 fois plus rapide, moitié moins cher et dispose d'une limite de débit 5 fois supérieure. Nous prévoyons de lancer dans les prochaines semaines auprès d'un petit groupe de partenaires de confiance l'accès aux nouvelles fonctionnalités audio et vidéo de GPT-4o dans l'API.

Plus de détails sur GPT-4o : https://openai.com/index/hello-gpt-4o/