Google DeepMind stellt mit DiffusionGemma ein experimentelles Open-Source-Modell vor, das Text nicht mehr sequentiell, sondern parallel generiert. Die neue Technik verspricht vor allem für lokale GPU-Inferenz enorme Geschwindigkeitsvorteile. Wer reaktionsschnelle KI-Anwendungen auf dem eigenen Rechner betreiben möchte, sollte die Details genau kennen.

Was ist DiffusionGemma?

DiffusionGemma ist ein 26 Milliarden Parameter großes Mixture-of-Experts-Modell, das unter der Apache-2.0-Lizenz veröffentlicht wurde. Anders als herkömmliche autoregressive Sprachmodelle arbeitet es nicht Token für Token, sondern erzeugt ganze Textblöcke mit bis zu 256 Token gleichzeitig.

Die Architektur basiert auf der Gemma-4-Familie und integriert einen speziellen Diffusion-Kopf. Dieser wurde entwickelt, um die Hardware-Auslastung lokaler GPUs deutlich zu steigern und so die Latenzzeiten drastisch zu reduzieren.

Die wichtigsten Leistungsmerkmale

Bis zu vierfach schnellere Inferenz

Durch den Wechsel vom speicherbandbreitenlimitierten Decoding hin zu rechenintensiver paralleler Generierung erreicht DiffusionGemma auf einer einzelnen NVIDIA H100 über 1.000 Token pro Sekunde. Auch auf einer NVIDIA GeForce RTX 5090 liegen die Werte bei mehr als 700 Token pro Sekunde.

Kompakte Hardware-Anforderungen

Trotz seiner 26 Milliarden Gesamtparameter aktiviert das MoE-Modell während der Inferenz nur 3,8 Milliarden Parameter. Quantisiert lässt es sich damit bereits auf High-End-Grafikkarten mit 18 Gigabyte VRAM betreiben.

Bidirektionale Aufmerksamkeit für komplexe Strukturen

Da alle 256 Token parallel entstehen, kann jedes Token auf alle anderen zugreifen. Diese bidirektionale Aufmerksamkeit eröffnet Vorteile bei der Inline-Bearbeitung, Code-Infilling, der Erstellung mathematischer Graphen oder der Generierung von Aminosäuresequenzen.

Intelligente Selbstkorrektur in Echtzeit

Das Modell durchläuft mehrere Verfeinerungsschritte und bewertet dabei den gesamten Textblock gleichzeitig. Fehler werden so iterativ erkannt und korrigiert, noch bevor die finale Ausgabe feststeht.

Warum Diffusion für Text die Regeln ändert

Der Flaschenhals autoregressiver Systeme

Klassische Large Language Models arbeiten wie eine Schreibmaschine: Sie schreiben Wort für Wort von links nach rechts. In der Cloud lässt sich diese Sequentialität durch Batching vieler Anfragen ausgleichen. Auf einem lokalen Rechner für einen einzelnen Nutzer bleibt die GPU jedoch weitgehend ungenutzt, während sie auf den nächsten Token wartet.

Vom Einzelblatt zur Rotationstruckerei

DiffusionGemma kehrt diese Logik um. Statt sequentiell zu tippen, entwirft es einen gesamten 256-Token-Absatz auf einmal. Die Hardware erhält damit größere Aufgabenpakete und arbeitet nahezu vollständig ausgelastet. Google vergleicht den Unterschied mit dem Upgrade von einer Einzelschreibmaschine zu einer industriellen Rotationstruckerei.

Der Verfeinerungsprozess im Detail

Ähnlich wie Bildgeneratoren, die aus visuellem Rauschen ein klares Bild destillieren, arbeitet DiffusionGemma in mehreren Phasen. Zunächst erzeugt das Modell eine Leinwand aus zufälligen Platzhalter-Token. In anschließenden Iterationen werden korrekte Token fixiert und als Kontext für die verbleibenden verwendet. Am Ende konvergiert der Text zu einer hochwertigen Ausgabe.

Einschränkungen und ideale Einsatzgebiete

Der Fokus auf Geschwindigkeit und parallele Layout-Generierung geht zu Lasten der maximalen Ausgabequalität. Für Anwendungen, die höchste textuelle Präzision erfordern, empfiehlt Google weiterhin die autoregressiven Gemma-4-Modelle.

Die Stärken von DiffusionGemma liegen in interaktiven, lokalen Workflows mit niedriger bis mittlerer Batch-Größe. Dazu gehören Live-Texteditoren, schnelle Iterationen, nicht-lineare Textstrukturen und Experimente, bei denen Latenz wichtiger ist als das letzte Quäntchen Qualität.

So starten Sie mit DiffusionGemma

Verfügbarkeit und Frameworks

Die Modellgewichte sind auf Hugging Face unter einer permissiven Apache-2.0-Lizenz verfügbar. Unterstützt wird das Modell unter anderem durch MLX, vLLM, Hugging Face Transformers und bald auch llama.cpp. Für Feintuning stellen die Entwickler Tutorials für Hackable Diffusion, Unsloth und NVIDIA NeMo bereit.

Hardware-Optimierung durch NVIDIA

In Zusammenarbeit mit NVIDIA wurde DiffusionGemma über den gesamten Hardware-Stack optimiert. Das umfasst Consumer-GPUs wie die GeForce RTX 5090 und 4090 in quantisierter Form sowie Enterprise-Systeme auf Hopper- und Blackwell-Basis mit NVFP4-Kerneln. Auch NVIDIA DGX Spark und DGX Station sowie RTX PRO werden unterstützt.

Fazit

DiffusionGemma markiert einen spannenden Schritt hin zu einer neuen Generation lokaler KI-Inferenz. Wer bereit ist, kleine Qualitätseinbußen gegen massive Geschwindigkeitsgewinne zu tauschen, erhält mit diesem Modell ein leistungsfähiges Werkzeug für experimentelle und interaktive Anwendungen.

Quelle: https://deepmind.google/blog/diffusiongemma-4x-faster-text-generation/