PagedAttention, spekulative Dekodierung, MoE und Blackwell

Die moderne KI-Bereitstellung nutzt Serving-Engines mit virtualisiertem Speicher, dünn besetztes Experten-Routing und Hardware-Präzision unterhalb eines Bytes, um riesige Modelle mit hoher Geschwindigkeit und niedrigen Kosten bereitzustellen. Diese drei Technologien bilden die Spitze der LLM-Infrastruktur im Produktivbetrieb.

1. Optimierungen für das LLM-Inferenz-Serving: PagedAttention & spekulative Dekodierung

Während der Texterzeugung speichert ein LLM die Key- (K) und Value-Tensoren (V) jedes vorherigen Tokens im VRAM zwischen, damit es sie nicht bei jedem Schritt neu berechnen muss. Die Verwaltung dieses KV-Caches und die Überwindung des sequenziellen Engpasses der Token-für-Token-Erzeugung sind die beiden größten Herausforderungen beim Inferenz-Serving.

• PagedAttention (vLLM) - virtueller Speicher für den KV-Cache.

• Das Fragmentierungsproblem. Inferenz-Engines reservierten früher für jede Anfrage einen zusammenhängenden VRAM-Bereich anhand der maximal möglichen Sequenzlänge des Modells (z. B. 32.768 Tokens). Wenn ein Nutzer nur 200 Tokens erzeugte, blieben über 99 % dieses reservierten VRAMs leer. Durch interne und externe Fragmentierung wurden so 60 % bis 80 % des GPU-Speichers verschwendet.
• Paging nach Betriebssystem-Vorbild. Inspiriert vom virtuellen Speicher eines Betriebssystems teilt PagedAttention den KV-Cache jeder Sequenz in kleine Blöcke fester Größe auf (z. B. 16 Tokens pro Block), die nicht zusammenhängend an beliebigen Stellen im physischen VRAM liegen können. Eine schlanke Blocktabelle ordnet logische Token-Blöcke während der Ausführung innerhalb des Attention-Kernels physischen GPU-Speicheradressen zu.
• Gemeinsame Speichernutzung (Copy-on-Write). Da die Blöcke entkoppelt sind, verweisen mehrere Anfragen mit demselben System-Prompt oder parallelen Vervollständigungen (etwa bei der Beam Search) auf exakt dieselben physischen KV-Blöcke im VRAM. Das senkt den Speicherverbrauch stark und ermöglicht wesentlich größere Batches.

• Spekulative Dekodierung - den sequenziellen Engpass durchbrechen.

• Warum autoregressive Erzeugung langsam ist. Die Erzeugung von 100 Tokens erfordert 100 sequenzielle Vorwärtsdurchläufe. Da jeder Durchlauf nur ein neues Token verarbeitet, verbringt die GPU die meiste Zeit mit dem Lesen der Modellgewichte aus dem VRAM, während ihre Tensor Cores fast unbeschäftigt bleiben.
• Entwurfs- und Prüf-Pipeline. Spekulative Dekodierung kombiniert das riesige Zielmodell (z. B. 70 Milliarden Parameter) mit einem winzigen, ultraschnellen Entwurfsmodell (z. B. 1–3 Milliarden Parameter oder schlanke Vorhersageköpfe wie Medusa / EAGLE).
• Parallele Prüfung. Das winzige Entwurfsmodell sagt die nächsten K Tokens (z. B. 5 Tokens) schnell nacheinander voraus. Das riesige Zielmodell verarbeitet dann alle 5 vorgeschlagenen Tokens gleichzeitig in einem einzigen parallelen Vorwärtsdurchlauf und prüft ihre Wahrscheinlichkeiten. Da die parallele Prüfung von 5 Tokens fast genau so lange dauert wie die Erzeugung von 1 Token, akzeptiert das System alle passenden Tokens auf einmal. Das ermöglicht eine 2× bis 3× schnellere Erzeugung bei mathematisch identischer Ausgabequalität.

2. Mixture-of-Experts (MoE) & Expertenparallelismus

Dichte Modelle aktivieren für jedes einzelne Token 100 % ihrer Parameter, wodurch der Betrieb riesiger Modelle unerschwinglich teuer wird. Mixture-of-Experts-Architekturen (MoE) entkoppeln das gesamte Modellwissen von den Rechenkosten pro Token.

• Funktionsweise von MoE-Schichten (Mixtral & DeepSeek).

• In einem MoE-Transformer-Block wird das einzelne dichte Feed-Forward-Netzwerk (FFN) durch eine Gruppe kleinerer unabhängiger FFNs ersetzt, die Experten genannt werden (z. B. 8 Experten in Mixtral 8x7B oder 256 feingranulare Experten in DeepSeek-V3).
• Ein schlanker trainierter Router (Gating-Netzwerk) untersucht jedes eingehende Token und leitet es nur an die top-K relevantesten Experten weiter (typischerweise 2 bis 8 Experten). Ein Modell kann insgesamt mehr als 600 Milliarden Parameter im Speicher halten, aber nur 37 Milliarden Parameter pro Token aktivieren. So erreicht es die Intelligenz eines riesigen Modells zu einem Bruchteil der Rechenkosten.
• Gemeinsame Experten & Ausgleich ohne Hilfsverlustfunktion. Moderne MoE-Entwürfe wie DeepSeek sehen einige gemeinsame Experten vor, die jedes Token verarbeiten, um allgemeines Grundlagenwissen abzudecken, während geroutete Experten sich auf Nischenbereiche spezialisieren. Dynamische Bias-Anpassungen verhindern einen „Routing-Kollaps“ (bei dem der Router wenige beliebte Experten überlastet und den Rest ignoriert).

• Expertenparallelismus (EP) über GPUs hinweg.

• Da ein MoE-Modell Hunderte von Experten hat, passen diese nicht auf eine einzelne GPU. Expertenparallelismus verteilt unterschiedliche Experten auf unterschiedliche GPUs (z. B. Experten 1–4 auf GPU 0, Experten 5–8 auf GPU 1).
• All-to-All-Kommunikation. Wenn GPU 0 einen Token-Batch verarbeitet, weist ihr Router möglicherweise einige Tokens Experten auf GPU 3 zu. Jede MoE-Schicht führt deshalb eine All-to-All-Verteilung aus: Die verborgenen Token-Zustände werden über schnelle NVLink/InfiniBand-Verbindungen an die GPU gesendet, auf der der zugewiesene Experte liegt. Dort wird das Experten-FFN berechnet, und ein zweiter All-to-All-Zusammenführungsschritt gibt die Ergebnisse zurück.

3. NVIDIA Blackwell (B200) & Transformer Engine der zweiten Generation (FP4)

Die NVIDIA-Blackwell-Architektur (B200), die zur Skalierung von Reasoning- und MoE-Modellen mit Billionen Parametern eingeführt wurde, hat sowohl das Multi-Die-Packaging als auch die numerische Präzision unterhalb eines Bytes neu gestaltet.

• Einheitliche Dual-Die-Architektur.

• Eine einzelne B200-GPU vereint 208 Milliarden Transistoren auf zwei durch die Retikelgröße begrenzten Dies, die durch eine NV-HBI (High-Bandwidth Interface) mit 10 TB/s verbunden sind. Für CUDA-Kernels und Software-Frameworks arbeiten beide Dies als eine einzige einheitliche GPU ohne Nachteile durch Cache-Kohärenz.
• HBM3e-Speicherbandbreite. Mit 192 GB HBM3e-VRAM und einer Speicherbandbreite von 8 TB/s (mehr als dem Doppelten der 3,35 TB/s des H100) zielt Blackwell direkt auf die Speicherbandbreitenengpässe von KV-Caches und beim Laden von MoE-Gewichten.

• Transformer Engine der zweiten Generation & NVFP4.

• Während Hopper 8-Bit-Gleitkomma (FP8) einführte, senkt Blackwells Transformer Engine der zweiten Generation die Tensor-Core-Berechnung auf 4-Bit-Gleitkomma (FP4). Dadurch verdoppelt sich der reine Rechendurchsatz erneut (bis zu 20 PetaFLOPS dichter FP4-Berechnung pro GPU), und der Speicherbedarf halbiert sich gegenüber FP8.
• Lösung für den FP4-Dynamikbereich durch Micro-Tensor-Skalierung (NVFP4). Herkömmliche 4-Bit-Zahlen haben nur 16 mögliche Werte, was normalerweise die Genauigkeit zerstört, wenn extreme Ausreißerwerte in neuronalen Aktivierungen auftreten. Blackwell löst dies hardwareseitig durch zweistufige Mikroskalierung: Statt einen Skalierungsfaktor auf eine große Matrix anzuwenden, gruppiert Blackwell Gewichte und Aktivierungen in winzige Blöcke aus 16 Elementen. Jeder kleine Block erhält einen eigenen hochpräzisen FP8-Skalierungsfaktor zusätzlich zu einer globalen FP32-Tensorskalierung.
• Hardwarebeschleunigte Quantisierung. Die Transformer Engine untersucht die Wertebereiche der Tensoren dynamisch Schicht für Schicht und konvertiert Werte direkt innerhalb der Tensor-Core-Pipeline zwischen FP16/BF16, FP8 und NVFP4, ohne zusätzliche Speicher-Rundläufe.