Drehbuch-Assistent▸ 
AI Apps 
AI Nachrichten Mercury: Das erste kommerziell einsetzbare Diffusions-Sprachmodell (dLLM)
小编 ·
Mercury: Das erste kommerziell einsetzbare Diffusions-Sprachmodell (dLLM)
Was ist Mercury?
Mercury ist das erste kommerzielle diffusionsbasierte Large Language Model (dLLM), das vom Startup-Unternehmen Inception Labs entwickelt wurde. Im Copilot Arena-Benchmark übertrifft Mercury Coder in puncto Geschwindigkeit zahlreiche bestehende Modelle, darunter GPT-4o Mini und Claude 3.5 Haiku. In der Praxis kann Mercury Coder hochwertigen Code mit extrem hoher Geschwindigkeit generieren.
Technische Prinzipien
Diffusionsmodell: Mercury verwendet die Diffusionsmodell-Technologie. Im Gegensatz zu herkömmlichen autoregressiven Modellen generiert es Text durch einen „von grob nach fein"-Prozess, beginnend mit reinem Rauschen und schrittweise durch mehrere Denoising-Schritte bedeutungsvollen Text erzeugend.
Parallele Generierung: Durch die Nutzung des parallelen Generierungsmechanismus der GPU kann Mercury beim Generieren von Text mehrere Tokens gleichzeitig modifizieren, was die Generierungsgeschwindigkeit und -effizienz deutlich erhöht.
Innovationspunkte
Geschwindigkeitsvorteil: Mercury kann auf NVIDIA H100 mit einer Geschwindigkeit von über 1000 Tokens pro Sekunde laufen und ist damit 5- bis 10-mal schneller als bestehende geschwindigkeitsoptimierte LLMs.
Kosteneffizienz: Durch eine neue Methode der Sprachgenerierung senkt Mercury die Inferenzkosten um das 10-fache und behält gleichzeitig eine mit Spitzenmodellen vergleichbare Leistung.
Korrekturfähigkeit: Die Eigenschaften des Diffusionsmodells ermöglichen es Mercury, die Ausgabe während des Generierungsprozesses kontinuierlich zu verbessern und Fehler sowie Halluzinationen zu korrigieren.
Funktionsmerkmale von Mercury
Diffusionsmodell-Technologie: Mercury verwendet ein Diffusionsmodell, das durch einen „von grob nach fein"-Prozess beginnend mit reinem Rauschen schrittweise bedeutungsvollen Text erzeugt.
Parallele Generierung: Durch die Nutzung des parallelen Generierungsmechanismus der GPU kann Mercury beim Generieren von Text mehrere Tokens gleichzeitig modifizieren, wodurch Generierungsgeschwindigkeit und -effizienz deutlich gesteigert werden.
Geschwindigkeitsvorteil: Kann auf NVIDIA H100 mit einer Geschwindigkeit von über 1000 Tokens pro Sekunde laufen und ist damit 5- bis 10-mal schneller als bestehende geschwindigkeitsoptimierte LLMs.
Kosteneffizienz: Durch eine neue Methode der Sprachgenerierung senkt Mercury die Inferenzkosten um das 10-fache und behält gleichzeitig eine mit Spitzenmodellen vergleichbare Leistung.
Korrekturfähigkeit: Die Eigenschaften des Diffusionsmodells ermöglichen es Mercury, die Ausgabe während des Generierungsprozesses kontinuierlich zu verbessern und Fehler sowie Halluzinationen zu korrigieren.
Mercury Anwendungen
Programmierung und Codegenerierung: Mercury Coder ist speziell für die Codegenerierung optimiert und schneidet in Standard-Codierungs-Benchmarks hervorragend ab, mit einer mehr als 10-mal höheren Geschwindigkeit als herkömmliche Modelle.
Agent-Anwendungen: Die hohe Geschwindigkeit und Effizienz von Mercury macht es besonders leistungsfähig in Anwendungen, die umfangreiche Planung und langwierige Generierung erfordern, wie z. B. intelligenter Kundenservice und Code-Assistenten.
Edge-Anwendungen: Aufgrund seiner Effizienz ist Mercury auch in ressourcenbeschränkten Umgebungen hervorragend geeignet, etwa für Anwendungen auf Smartphones oder Laptops.
Fortgeschrittenes Reasoning: Mercury kann Fehlerkorrektur nutzen, um Halluzinationen zu beheben und die Qualität der Antworten zu verbessern, und eignet sich somit für Aufgaben, die tiefgehendes Reasoning erfordern.
Kontrollierte Generierung: Mercury kann Ausgaben bearbeiten und Wörter in beliebiger Reihenfolge generieren, was es für Szenarien geeignet macht, die flexible Inhaltserstellung erfordern.
Wie verwendet man Mercury?
Installation und Konfiguration: Mercury Coder ist verfügbar und kann öffentlich getestet werden. Nutzer können die Funktionen über den von Inception Labs bereitgestellten Playground erleben oder über API- und On-Premise-Dienste für Unternehmensanwendungen nutzen.
Erleben und Testen: Nutzer können auf der offiziellen Website von Inception Labs die Leistungsfähigkeit von Mercury Coder erleben, Code-Anforderungen eingeben und sofort hochwertigen Code generieren.
Online-Erlebnis:https://chat.inceptionlabs.ai/
Offizielle Vorstellung:https://www.inceptionlabs.ai/news
