Heute stellt Google DeepMind mit DiffusionGemma ein experimentelles Open-Source-Modell vor, das die Text-Generation auf ein neues Geschwindigkeitslevel hebt. Das unter Apache 2.0 Lizenz veröffentlichte 26B Mixture-of-Experts-Modell verzichtet auf die sequenzielle Token-für-Token-Verarbeitung herkömmlicher autoregressiver Large Language Models. Stattdessen generiert es ganze Textblöcke parallel und erreicht dabei eine bis zu viermal höhere Geschwindigkeit auf GPUs. Basierend auf der bewährten Gemma-4-Architektur und aktuellen Gemini-Diffusion-Forschung richtet sich das Modell speziell an Entwickler und Forscher, die auf lokale, interaktive Workflows mit minimalem Latenz-Aufwand setzen.

Was ist DiffusionGemma?

DiffusionGemma ist ein 26 Milliarden Parameter umfassendes Mixture-of-Experts-Modell, das unter einer permissiven Apache 2.0 Lizenz veröffentlicht wurde. Im Gegensatz zu herkömmlichen autoregressiven Large Language Models, die Text Wort für Wort oder Token für Token generieren, setzt DiffusionGemma auf einen völlig anderen Ansatz. Das Modell erstellt ganze Blöcke von 256 Tokens simultan und nutzt dabei einen neuartigen Diffusion Head, der die Generationsgeschwindigkeit maximiert.

Die Architektur baut auf der intelligenten Gemma-4-Familie auf und integriert Erkenntnisse aus der aktuellen Gemini-Diffusion-Forschung von Google DeepMind. Während die autoregressiven Gemma-4-Varianten weiterhin den Goldstandard für hochwertige Produktionsausgaben darstellen, positioniert sich DiffusionGemma als spezialisiertes Werkzeug für geschwindigkeitskritische Anwendungen. Dazu zählen interaktive lokale Workflows wie Inline-Bearbeitungen, schnelle Iterationen und die Erzeugung nicht-linearer Textstrukturen.

Das bedeutet DiffusionGemma für Entwickler

Entwickler, die Echtzeit-Anwendungen mit künstlicher Intelligenz bauen, kennen das Problem der Latenz bei lokaler Inferenz. DiffusionGemma adressiert diese Herausforderungen gezielt, bringt dabei aber auch spezifische Trade-offs mit sich. Der Fokus liegt auf maximaler Durchsatzgeschwindigkeit bei gleichzeitig vertretbarem Hardware-Footprint.

Bis zu viermal schnellere Inferenz

Durch die Verlagerung des Decode-Flaschenhalses von der Speicherbandbreite hin zur reinen Rechenleistung generiert DiffusionGemma auf dedizierten GPUs bis zu viermal schneller als vergleichbare autoregressive Modelle. Konkret bedeutet dies über 1.000 Tokens pro Sekunde auf einer einzelnen NVIDIA H100 sowie mehr als 700 Tokens pro Sekunde auf einer NVIDIA GeForce RTX 5090. Diese Geschwindigkeit ermöglicht völlig neue interaktive Anwendungen, die bisher undenkbar waren.

Zugängliche Hardware-Anforderungen

Trotz seiner beeindruckenden Leistung bleibt das Modell überraschend zugänglich. DiffusionGemma verfügt zwar über insgesamt 26 Milliarden Parameter, aktiviert jedoch nur 3,8 Milliarden Parameter während der Inferenz. Quantisiert lässt sich das Modell komfortabel innerhalb der 18 GB VRAM-Grenze aktueller High-End-Grafikkarten betreiben. Das macht es für Entwickler attraktiv, die leistungsstarke KI-Lösungen direkt auf lokaler Hardware umsetzen möchten.

Bidirektionale Aufmerksamkeit für komplexe Strukturen

Ein besonderer Vorteil des Diffusionsansatzes liegt in der parallelen Generierung von 256 Tokens pro Forward-Pass. Jedes Token kann dabei auf alle anderen Tokens im Block zugreifen, was die sogenannte bidirektionale Aufmerksamkeit ermöglicht. Diese Eigenschaft erweist sich als besonders wertvoll für nicht-lineare Domänen wie Inline-Code-Editing, Code-Infilling, Aminosäuresequenzen oder mathematische Graphen. Wo autoregressive Modelle an zukunftsabhängigen Token-Beziehungen scheitern, glänzt DiffusionGemma durch seinen holistischen Blick auf den gesamten Textblock.

Intelligente Selbstkorrektur in Echtzeit

Das Modell arbeitet iterativ und verfeinert seine eigenen Ausgaben in mehreren Durchläufen. Dabei kann es den gesamten Textblock gleichzeitig bewerten und Fehler in Echtzeit korrigieren. Diese Fähigkeit zur Selbstkorrektur unterscheidet sich grundlegend vom linearen Voranschreiten autoregressiver Systeme. Allerdings sei erwähnt: Da DiffusionGemma Geschwindigkeit und parallele Layout-Generierung priorisiert, liegt die Gesamtqualität der Ausgaben unterhalb des Standards von Gemma 4. Für Anwendungen mit höchsten Qualitätsansprüchen empfiehlt Google DeepMind weiterhin den Einsatz der autoregressiven Gemma-4-Varianten.

Warum Diffusion für Text?

Die Idee der diffusionsbasierten Textgenerierung ist in der KI-Forschung keineswegs neu. Die Umsetzung in großen Sprachmodellen blieb jedoch bislang eine Herausforderung. DiffusionGemma verändert dieses Paradigma, indem es die Art und Weise neu definiert, wie Modelle Hardware-Ressourcen nutzen.

Das Effizienzproblem autoregressiver Modelle

Die meisten Sprachmodelle arbeiten wie eine Schreibmaschine und erzeugen Text sequenziell von links nach rechts. In der Cloud ist dieser Prozess effizient, weil Server Tausende Nutzeranfragen bündeln können, um die Hardware gleichzeitig auszulasten. Bei lokaler Inferenz für einen einzelnen Nutzer bleibt die dedizierte GPU oder TPU jedoch weitgehend unterfordert. Der Prozessor verbringt die meiste Zeit damit, auf den nächsten einzelnen Tastenanschlag zu warten.

DiffusionGemma kehrt diese Ineffizienz um. Statt sequenziell Wörter vorherzusagen, entwirft das Modell ganze 256-Token-Absätze auf einmal. Indem dem Prozessor größere Arbeitspakete übergeben werden, nutzt DiffusionGemma die vorhandene Hardware vollständig aus. Der Unterschied lässt sich mit dem Wechsel von einer einzelnen Schreibmaschine zu einer industriellen Druckerpresse vergleichen, die ganze Textblöcke simultan erzeugt.

So funktioniert Text-Diffusion

Der Ansatz ähnelt den Mechanismen bekannter Bildgeneratoren, die aus visuellem Rauschen schrittweise ein klares Bild erzeugen. DiffusionGemma überträgt dieses Prinzip auf die Textwelt. Zunächst startet das Modell mit einer Leinwand aus zufälligen Platzhalter-Tokens. In mehreren Durchläufen verfeinert es diese, sichert korrekte Tokens und nutzt sie als Kontext, um die verbleibenden Stellen zu optimieren. Am Ende konvergiert der Text zu einer hochwertigen Ausgabe.

Durch die Fähigkeit, den gesamten Absatz während der Generierung zu betrachten, erschließt sich dem Modell neuartiges Verhalten. Dazu gehört das perfekte Schließen komplexer Markdown-Formatierungen oder die nahezu Echtzeit-Generierung und Darstellung von Quellcode.

DiffusionGemma im Einsatz: Erste Schritte

Für Entwickler, die das Modell direkt erproben möchten, stehen mehrere Einstiegspunkte bereit. Die experimentellen Modell-Gewichte sind bereits auf Hugging Face unter der permissiven Apache 2.0 Lizenz verfügbar. Google DeepMind bietet zudem einen umfassenden Entwickler-Guide sowie die Visual Guide to DiffusionGemma an, die die technischen Abläufe im Detail erklären.

Die Integration erfolgt über gängige Frameworks wie MLX, vLLM (mit Unterstützung durch Red Hat) und Hugging Face Transformers. Für Experimente steht die modulare JAX-Toolbox Hackable Diffusion zur Verfügung. Zusätzlich unterstützen Unsloth und NVIDIA NeMo das Fine-Tuning des Modells. Ein offizieller Support für llama.cpp ist in Kürze zu erwarten.

Gemeinsam mit NVIDIA wurde die Performance über den gesamten Hardware-Stack optimiert. Das umfasst Consumer-GPUs wie die GeForce RTX 5090 und 4090 im quantisierten Betrieb sowie Enterprise-Systeme auf Basis von Hopper und Blackwell mit fortschrittlichen NVFP4-Kernels. Native Unterstützung für NVFP4 beschleunigt den Rechendurchsatz und ermöglicht nahezu verlustfreie Geschwindigkeitsgewinne. Zusätzlich lässt sich das Modell über die Gemini Enterprise Agent Platform Model Garden oder NVIDIA NIM in der Cloud nutzen.

Quelle: Google DeepMind Blog