Was ist OpenAIs GPT-4o und welche Funktionen bietet es? 218

Openai hat gerade am Montag, den 13. Mai um 10 Uhr pazifischer Zeit GPT-4o veröffentlicht, ein neues KI-Modell, das Text, Bilder, Video und Sprache in einem universellen Modell vereint. Es kann in Echtzeit auf die Bedürfnisse der Nutzer reagieren und Echtzeit-Antworten per Sprache geben, wobei Sie es jederzeit unterbrechen können. GPT-4o verfügt über visuelle Fähigkeiten, kann Objekte erkennen und auf dieser Grundlage schnell reagieren und antworten, und besitzt eine sehr starke logische Schlussfolgerungsfähigkeit. Es kann zudem aus der Stimme der Nutzer deren Emotionen erkennen. Es ist doppelt so schnell wie GPT-4-turbo und 50 % günstiger!

Was ist GPT-4o?

GPT-4o (das „o" steht für „omni") ist ein Schritt in Richtung einer natürlicheren Mensch-Computer-Interaktion – es akzeptiert beliebige Kombinationen aus Text, Audio und Bild als Eingabe und erzeugt beliebige Kombinationen aus Text, Audio und Bild als Ausgabe. Es kann Audioeingaben in nur 232 Millisekunden beantworten, im Durchschnitt 320 Millisekunden, was der Reaktionszeit des Menschen in einem Gespräch ähnelt. Bei englischen Texten und Code erreicht es die Leistung von GPT-4 Turbo, bei nicht-englischen Texten ist die Leistung deutlich verbessert, während die API zudem schneller ist und die Kosten um 50 % gesenkt wurden. Im Vergleich zu bestehenden Modellen zeichnet sich GPT-4o besonders im visuellen und auditiven Verständnis aus.

Vor GPT-4o konnten Sie den Sprachmodus verwenden, um mit ChatGPT zu sprechen, mit einer durchschnittlichen Latenz von 2,8 Sekunden (GPT-3.5) und 5,4 Sekunden (GPT-4). Um dies zu erreichen, war der Sprachmodus eine Pipeline aus drei unabhängigen Modellen: ein einfaches Modell, das Audio in Text umwandelt, GPT-3.5 oder GPT-4, das den Text empfängt und Text ausgibt, und ein drittes einfaches Modell, das diesen Text wieder in Audio umwandelt. Dieser Prozess bedeutet, dass die Hauptintelligenzquelle GPT-4 viele Informationen verlor – es konnte Tonfall, mehrere Sprecher oder Hintergrundgeräusche nicht direkt wahrnehmen und auch kein Lachen, Singen oder Emotionen ausdrücken.

Mit GPT-4o haben wir ein neues Modell text-, visuell- und audioübergreifend Ende-zu-Ende trainiert, was bedeutet, dass alle Ein- und Ausgaben vom selben neuronalen Netzwerk verarbeitet werden. Da GPT-4o unser erstes Modell ist, das all diese Modi vereint, haben wir die Fähigkeiten und Grenzen dieses Modells bisher nur oberflächlich erkundet.

GPT-4o Modellbewertung

Nach herkömmlichen Benchmarks erreicht GPT-4o die Leistung von GPT-4 Turbo in Bezug auf Text, Schlussfolgern und Code-Intelligenz und setzt gleichzeitig neue Bestmarken bei mehrsprachigen, Audio- und visuellen Fähigkeiten.

GPT-4o Sprachtokenisierung

Es wurden 20 Sprachen ausgewählt, die verschiedene Sprachfamilien repräsentieren, um mit dem neuen Tokenizer eine Kompression zu erzielen.

Modellsicherheit und Einschränkungen

GPT-4o verfügt über eingebaute Sicherheit im modalitätsübergreifenden Design durch Techniken wie das Filtern von Trainingsdaten und die Verfeinerung des Modellverhaltens nach dem Training. Wir haben außerdem neue Sicherheitssysteme geschaffen, die Schutzmaßnahmen für die Audioausgabe bieten.

Wir haben GPT-4o gemäß unserem Preparedness-Framework und im Einklang mit unseren freiwilligen Verpflichtungen bewertet. Unsere Bewertungen in Bezug auf Cybersicherheit, CBRN, Überzeugungskraft und Modellautonomie zeigen, dass GPT-4o in keiner dieser Kategorien über ein mittleres Risiko hinausgeht. Diese Bewertung umfasste die Durchführung einer Reihe automatisierter und menschlicher Bewertungen während des gesamten Modelltrainingsprozesses. Wir haben sowohl vor als auch nach den Sicherheitsmaßnahmen mithilfe von benutzerdefiniertem Feintuning und Prompts getestet, um die Fähigkeiten des Modells besser hervorzurufen.

GPT-4o wurde zudem umfassend mit über 70 externen Experten und Red Teams aus Bereichen wie Sozialpsychologie, Verzerrungen und Fairness sowie Desinformation zusammengearbeitet, um Risiken zu identifizieren, die durch die neu hinzugefügten Modi eingeführt oder verstärkt werden. Wir nutzen diese Erkenntnisse, um Sicherheitsmaßnahmen zu entwickeln, die die Interaktion mit GPT-4o sicherer machen. Wir werden weiterhin daran arbeiten, neu entdeckte Risiken zu mindern.

Wir sind uns bewusst, dass der Audiomodus von GPT-4o verschiedene neue Risiken mit sich bringt. Heute veröffentlichen wir öffentlich Text- und Bildeingabe sowie Textausgabe. In den kommenden Wochen und Monaten werden wir an der technischen Infrastruktur, der Verfügbarkeit nach dem Training und der Sicherheit arbeiten, die für die Veröffentlichung weiterer Modi erforderlich sind. Beispielsweise wird die Audioausgabe bei der Veröffentlichung auf ausgewählte voreingestellte Stimmen beschränkt sein und unseren bestehenden Sicherheitsrichtlinien entsprechen. Wir werden weitere Details zu allen Modi von GPT-4o in einer bevorstehenden Systemkarte teilen.

Wir hoffen auf Feedback, um zu erkennen, bei welchen Aufgaben GPT-4 Turbo GPT-4o weiterhin überlegen ist, damit wir das Modell weiter verbessern können.

Modellverfügbarkeit

GPT-4o ist unser jüngster Schritt, die Grenzen des Deep Learning zu verschieben, diesmal in Richtung praktischer Anwendbarkeit. In den letzten zwei Jahren haben wir viel Energie darauf verwendet, die Effizienz jeder Ebene unseres Stacks zu verbessern. Als erstes Ergebnis dieser Bemühungen können wir ein Modell auf GPT-4-Niveau einem breiteren Publikum zugänglich machen. Die Funktionen von GPT-4o werden schrittweise eingeführt (beginnend mit der Erweiterung des Red-Team-Zugangs ab heute).

Die Text- und Bildfunktionen von GPT-4o werden ab heute in ChatGPT eingeführt. Wir stellen GPT-4o im kostenlosen Tarif zur Verfügung und bieten Plus-Nutzern das bis zu Fünffache an Nachrichtenlimits an. In den kommenden Wochen werden wir in ChatGPT Plus die Alpha-Version des neuen Sprachmodus von GPT-4o veröffentlichen.

Entwickler können GPT-4o ab sofort auch als Text- und Visionsmodell in der API nutzen. Im Vergleich zu GPT-4 Turbo ist GPT-4o doppelt so schnell, halb so teuer und verfügt über fünfmal höhere Ratenlimits. Wir planen, in den kommenden Wochen einer kleinen Gruppe vertrauenswürdiger Partner die Unterstützung für die neuen Audio- und Videofunktionen von GPT-4o in der API zugänglich zu machen.

Weitere Details zu GPT-4o: https://openai.com/index/hello-gpt-4o/