On-Policy Distillation: Der Student erzeugt die Lektion

Kurzfassung

Man hört oft, chinesische Open-Source-Labs hätten ihre Modelle von Anthropic oder OpenAI destilliert. Der Satz wirft mehrere Verfahren zusammen. Wer Antworten eines Frontier-Modells sammelt und darauf finetunt, betreibt in der Regel Off-Policy-Distillation: Der Teacher erzeugt die Zielsequenzen, der Student imitiert sie. On-Policy Distillation (OPD) dreht die Datenquelle um. Der Student erzeugt seine eigenen Sequenzen; der Teacher bewertet auf jedem dieser Pfade, welche Token er selbst für wahrscheinlich hält.¹

Das Verfahren verbindet zwei Eigenschaften, die im üblichen LLM-Post-Training getrennt auftreten. Wie beim Reinforcement Learning stammen die Trajektorien aus der aktuellen Student-Policy. Wie beim Supervised Finetuning entsteht an jedem Token ein Lernsignal. Die praktische Folge lässt sich präzise benennen: Eine Sammlung guter Teacher-Antworten reicht für Off-Policy-SFT. On-Policy Distillation mit Reverse KL verlangt Zugriff auf die Wahrscheinlichkeiten des Teachers für die vom Student-Modell erzeugten Token.

Zwei Achsen erklären die Tabelle

Sampling bezeichnet, aus welcher Policy die Trainingssequenzen stammen. On-policy heißt: Der aktuelle Student erzeugt die Sequenzen selbst. Off-policy heißt: Sie stammen aus einer anderen Quelle, etwa vom Teacher, von Menschen oder aus einem festen Datensatz. Dicht ist ein Lernsignal an jedem Token. Spärlich ist typischerweise ein Reward für die ganze Sequenz. Der Tabellenkopf verwendet Reward-Signal als Sammelbegriff; bei SFT ist es der überwachte Token-Loss.

Supervised Finetuning. Der Student sieht eine vorgegebene Zielsequenz. Teacher Forcing setzt an jeder Position den korrekten bisherigen Zieltext in den Kontext; die Cross-Entropy liefert für jedes nächste Token einen Gradienten. Bei Teacher-generierten Daten ist das eine Stichprobenschätzung der Forward KL, also $D_{\mathrm{KL}}(\pi_T\|\pi_\theta)$. Klassische Knowledge Distillation nutzt weiche Teacher-Wahrscheinlichkeiten. Sie transportieren mehr Struktur als ein einzelnes hartes Label.²

Der Trainingspfad unterscheidet sich dabei vom späteren Einsatz. Bei der Inferenz liest der Student seine eigenen bisherigen Token. Ein früher Fehler führt in Kontexte, die im festen Teacher-Datensatz selten oder gar nicht vorkommen. Dadurch können sich Fehler über lange Sequenzen verstärken. DAgger formulierte das Grundproblem für sequenzielles Imitation Learning: Trainiert werden sollte auf den Zuständen, die die gelernte Policy selbst besucht.³

Reinforcement Learning. Die aktuelle Policy erzeugt Rollouts und erfüllt damit die On-Policy-Bedingung. In vielen Reasoning-Setups kommt der Reward erst am Ende: Antwort richtig oder falsch, Test bestanden oder fehlgeschlagen. Das Signal bewertet die eigene Trajektorie, lokalisiert den entscheidenden Token jedoch nicht. Die Tabellenzeile beschreibt diesen verbreiteten Einsatz mit Outcome-Verifier. RL kann technisch auch dichte Prozess-Rewards verwenden.

On-Policy Distillation. Der Student sampelt seine Trajektorie. Der Teacher bewertet anschließend an jedem Student-Präfix die nächste Aktion. So lernt der Student in den Kontexten, die seine eigenen Entscheidungen tatsächlich erzeugen, einschließlich seiner typischen Abzweigungen und Fehler. GKD übertrug diese Logik explizit auf autoregressive Sprachmodelle und verband Student-generierte Sequenzen mit frei wählbaren Divergenzen zwischen Teacher und Student.⁴

Der praktische Reiz liegt in der Trainingseffizienz: Weil jedes Token ein Signal trägt statt nur die fertige Sequenz, erreichte ein Qwen3-8B-Student bei Thinking Machines Lab das AIME-2024-Niveau seines Qwen3-32B-Teachers mit rund sieben- bis zehnmal weniger Gradient-Steps als RL mit Outcome-Reward. Wie stark sich das in Rechenkosten übersetzt, hängt vom Aufbau ab; Thinking Machines Lab nennt je nach Annahme einen Faktor zwischen 9 und 30.¹

Die Loss-Funktion: Reverse KL

Sei $h_t = (x_1,\ldots,x_t)$ der bisherige, vom Student-Modell erzeugte Text. Für das nächste Token definiert der Student die Verteilung $\pi_\theta$, der Teacher die Verteilung $\pi_T$. Der Loss pro Token ist die Reverse-KL-Divergenz:

Reverse bezeichnet die Reihenfolge der Argumente: Links steht der Student $\pi_\theta$, rechts der Teacher $\pi_T$. Beim üblichen SFT steht die Teacher-Verteilung vorn. Was die Reihenfolge bewirkt, zeigt die rechte Seite der Gleichung: Das Subskript $x_{t+1}\sim\pi_\theta$ besagt, dass über Token gemittelt wird, die der Student selbst gezogen hat. Er bestimmt damit, welche Token und Präfixe bewertet werden; beim SFT übernimmt diese Rolle der feste Teacher-Datensatz.

Die einfache Implementierung besteht aus vier Schritten:

1. Der Student sampelt zu einem Prompt eine frische Trajektorie und speichert seine Log-Probabilities.
2. Der Teacher berechnet auf genau dieser Trajektorie $\log \pi_T(x_{t+1}\mid h_t)$.
3. Für jedes gezogene Token dient $r_t = \log \pi_T - \log \pi_\theta$ als Advantage — die vorzeichenumgekehrte Stichprobenschätzung des Reverse-KL-Terms.
4. Ein Policy-Gradient-Update nutzt $r_t$, um die Gewichte des Students anzupassen. Gibt der Teacher dem gezogenen Token mehr Wahrscheinlichkeit als der Student, ist $r_t$ positiv und $\pi_\theta(x_{t+1}\mid h_t)$ steigt. Andernfalls sinkt die Wahrscheinlichkeit dieses Tokens nach diesem Präfix. Stammt die Trajektorie aus einer inzwischen überholten Policy, korrigiert Importance Sampling die Differenz.

Zwei Eigenschaften dieses Signals sind entscheidend. Erstens wird jedes Token einzeln bewertet und einzeln korrigiert; sein Wert hängt nicht davon ab, wie die Sequenz weitergeht. Genau das nennt die Tabelle ein dichtes Signal.¹ Zweitens ist $r_t$ nur eine Schätzung: Exakt müsste man an jeder Position über das gesamte Vokabular summieren, gewichtet mit den Wahrscheinlichkeiten des Students, und das verlangt die vollständigen Teacher-Logits. Schritt 3 begnügt sich mit dem einen Token, das der Student tatsächlich gezogen hat — ungenauer pro Position, verlangt vom Teacher aber nur eine einzige Zahl.

Bleibt die Frage, warum Reverse KL und nicht die Forward KL des SFT. MiniLLM führt die Antwort auf die begrenzte Kapazität des Students zurück: Die beiden Richtungen bestrafen entgegengesetzte Fehler. Die Forward KL fällt hoch aus, wenn der Student einer Fortsetzung wenig Wahrscheinlichkeit gibt, die der Teacher für plausibel hält. Er muss deshalb viele Möglichkeiten offenhalten und verteilt seine Wahrscheinlichkeit auf mehr Kandidaten. Die Reverse KL bestraft stattdessen Wahrscheinlichkeitsmasse auf Fortsetzungen, die der Teacher für unwahrscheinlich hält. Plausible Teacher-Fortsetzungen, denen der Student praktisch keine Wahrscheinlichkeit gibt, werden im Loss kaum gewichtet. Der Student konzentriert sich deshalb auf wenige Fortsetzungen, die auch der Teacher für plausibel hält.⁵

Reverse KL hat zugleich eine Startbedingung. Der Student muss brauchbare Verhaltensweisen mit praktisch relevanter Wahrscheinlichkeit sampeln können. Erzeugt er ein Verhalten praktisch nie, liefern seine Trajektorien dafür kein Trainingssignal. In der Praxis steht deshalb häufig SFT oder Mid-Training vor der On-Policy-Phase: Forward-KL-Training erschließt Verhalten; Reverse-KL-Training schärft es auf den Zuständen des Student-Modells.

Was der Begriff praktisch ausschließt

Eine Text-API, die nur fertige Teacher-Antworten zurückgibt, eignet sich für synthetische Trainingsdaten und Off-Policy-SFT. Die beschriebene Reverse-KL-Implementierung braucht mehr: Der Teacher muss die Student-Trajektorie tokenweise mit Wahrscheinlichkeiten bewerten können. Die einfache Variante setzt außerdem ein gemeinsames oder sauber abbildbares Token-Vokabular voraus. Solange eine Frontier-API keine Token-Wahrscheinlichkeiten für fremd erzeugte Sequenzen zurückgibt, bleibt der Weg über sie off-policy — unabhängig davon, wie gut die synthetischen Daten sind.

Das dichte Signal bleibt an die Qualität des Teachers gebunden. Es sagt an jeder Position, wie wahrscheinlich der Teacher das nächste Token nach dem jeweiligen Präfix hält. Es beweist weder faktische Richtigkeit noch den Erfolg der gesamten Sequenz. Externe Verifier oder Outcome-Rewards können diese Lücke ergänzen. Student-Kapazität, Promptverteilung und Teacher-Fehler begrenzen weiterhin, was übertragen wird.

Auch on-policy ist eine Frischebedingung. Nach mehreren Updates stammen alte Rollouts aus einer früheren Policy. Ein Trainingssystem muss laufend neu sampeln, veraltete Daten begrenzen oder ihre Abweichung von der aktuellen Policy per Importance Sampling korrigieren.

Vom Spezialisten zum fertigen Modell

Der wichtigste offen dokumentierte Einsatz von On-Policy Distillation ist die Zusammenführung spezialisierter Modelle. Alle Spezialisten werden vom selben Ausgangsmodell abgeleitet. Jeder erhält einen eigenen Datenmix, eigene Rewards und ein passendes Reasoning- oder Kontextbudget. Anschließend lernt ein gemeinsames Student-Model (das finale Modell in spe) auf seinen eigenen Trajektorien vom jeweils passenden Spezialisten.

In einem gemischten RL-Lauf konkurrieren Coding, Mathematik, Tool Use und allgemeine Antworten um dieselben Modell-Updates. Auch ihre Rewards, Rollout-Längen und Rechenbudgets unterscheiden sich. Separate Spezialisten entkoppeln diese Optimierungsziele. On-Policy Distillation überträgt ihre Tokenverteilungen anschließend in einen gemeinsamen Parametersatz, um das finale Modell zu bauen. Im Betrieb geht dann nur dieses eine finale Modell; die Teacher werden nur im Training benötigt. Auswahl, Promptmix und Gewichtung der Teacher bestimmen, wie stark die einzelnen Fähigkeiten im fertigen Modell erhalten bleiben.

DeepSeek V4 und Kimi K3 führen parallele Spezialisten zusammen. GLM-5 wendet denselben Mechanismus über Trainingsphasen hinweg an: Frühere Checkpoints werden zu Teachern, damit spätere Phasen vorhandene Fähigkeiten nicht dauerhaft verdrängen. Qwen3 überträgt die Fähigkeiten großer Teacher-Modelle auf kleinere Modelle derselben Familie.

Zwei aktuelle Preprints untersuchen weitere Anwendungen. Guided-OPD zieht die Hilfe des Teachers in langen Agenten-Rollouts schrittweise zurück und begrenzt so frühe Fehlerketten.¹⁰ Direct-OPD überträgt die von RL gelernte Verteilungsänderung eines kleinen Modells auf ein größeres Student-Modell.¹¹ Beide Ansätze sind bisher Forschungsprototypen. Bei den Verfahren in der Tabelle berichten die Teams bereits über den Einsatz in vollständigen Modelltrainings.

Wer eine Meldung über „destillierte“ Frontier-Fähigkeiten einordnen will, braucht daher drei Angaben: Wer erzeugte die Trajektorien? Konnte der Teacher die Token des Students mit Log-Probabilities bewerten? Wurde Forward KL per SFT oder Reverse KL auf Student-Rollouts optimiert? Erst diese Antworten trennen synthetisches Finetuning von On-Policy Distillation.

Quellen und weiterführende Literatur

Ausgangspunkt ist der Beitrag von Thinking Machines Lab. Die Grundlagen decken Knowledge Distillation, On-Policy Imitation Learning und Reverse-KL-Distillation für autoregressive Sprachmodelle ab. Die aktuellen Anwendungsbeispiele stammen aus den technischen Berichten der jeweiligen Modellteams.