Forschungsbericht · überarbeitet am 09. November 2026
Ein eng begrenzter Eingriff in ein Sprachmodell
Der Versuch verwendet SmolLM2-135M als eingefrorenen Backbone. Trainiert wird ausschließlich ein kleiner Baustein vor dem Ausgabekopf. Damit lässt sich untersuchen, ob die gewählte Quantenfunktion nützliche zusätzliche Struktur lernt, ohne gleichzeitig das gesamte Sprachmodell zu verändern. Die Frage betrifft diese Einbauposition und diese Adapterfamilie.
Verglichen werden LoRA mit Rang 4, ein MLP mit Breite 4, ein trigonometrischer Block und ein idealer Vier-Qubit-Erwartungswertblock. LoRA besitzt 4.608 trainierbare Parameter, die drei anderen Varianten jeweils 4.616. Die Parameterzahlen liegen nahe beieinander. Daraus folgt noch keine Gleichheit der späteren Hardwarekosten, weil die Verfahren ihre Ausgaben sehr unterschiedlich berechnen.
Datenaufteilung und Training vor der Auswertung festlegen
Gepinnte Modell- und WikiText-Revisionen liefern 16.384 Trainings-, 4.096 Validierungs- und 4.096 Testtokens bei einer Kontextlänge von 128. Vier Familien, drei Zufallsstarts und zwei Lernraten ergeben 24 Trainingsversuche. Jeder Versuch erhält 64 Updates mit 256 Tokenbeispielen. Insgesamt werden 1.536 Optimizerschritte ausgeführt.
Die Qualitätsgröße ist die mittlere negative Log-Likelihood, kurz NLL, in Nats pro Token. Kleinere Werte sind besser. Zusätzlich wird die geometrische Perplexität ausgewiesen. Das vorab festgelegte Auswahlziel verlangt mindestens 0,01 Nats Verbesserung gegenüber der klassischen Kontrolle und einen Vorteil in allen drei Seeds. Die klassische GPU simuliert dabei eine ideale Schaltung. Kein physischer Quantenprozessor ist am Training beteiligt.
Qualität unter demselben Budget vergleichen
Das unveränderte Modell erreicht eine Test-NLL von 3,526229. LoRA erzielt 3,409933, das MLP 3,429072, der trigonometrische Block 3,439383 und der ideale Quantenblock 3,451734. Alle vier trainierten Familien verbessern damit den unveränderten Backbone. Innerhalb dieses Versuchs liegt LoRA jedoch vorn.
Der Quantenbaustein verliert in allen drei Seeds gegen LoRA. Die mittlere Differenz beträgt 0,0418006 Nats pro Token zu seinen Ungunsten. Das entspricht ungefähr 4,27 % höherer geometrischer Perplexität. Sein Wert liegt bei 31,5551 gegenüber 30,2632 für LoRA. Der Vergleich wird somit nicht durch die bloße Verbesserung zum eingefrorenen Ausgangsmodell entschieden, sondern durch die stärkere klassische Alternative.
Funktion und Gradienten unabhängig kontrollieren
Ein negatives Lernergebnis wäre wenig aussagekräftig, wenn der Quantenblock falsch eingebunden wäre. Deshalb werden zunächst native Modelllogits und der separate Hiddenstate-/Head-Pfad verglichen. Im Probeinput stimmen sie exakt überein. Die Quantenfunktion wird außerdem gegen einen äquivalenten klassischen 16-mal-16-Operator einschließlich Gradienten geprüft. Die größte Abweichung beträgt höchstens 5,33 × 10⁻¹⁵.
Nach dem idealen Training werden gemeinsame Z-Basis-Messungen mit 128 beziehungsweise 1.024 Shots simuliert. Die mittleren NLL-Werte liegen bei 3,451899 und 3,451706. Die entscheidende Lücke zu LoRA ist bereits ohne Messrauschen vorhanden. Diese Nachprüfung ist kein verrauschtes QPU-Training. Die Parameter wurden mit exakten Simulatorgradienten gelernt, endliche Messwiederholungen erst anschließend ausgewertet.
Die Quantenfunktion bleibt in einen klassischen Pfad eingebettet
Pro vorbereitetem Beispiel verwendet der Block vier logische Qubits, zwölf abstrakte RY-Rotationen, acht CZ-Gatter und vier gemeinsam gemessene Z-Erwartungswerte. LayerNorm sowie Down- und Up-Projektion bleiben klassisch. Die beiden Projektionen umfassen zusammen 4.608 klassische MACs pro Token. Backbone und Sprachmodellausgabekopf bleiben ebenfalls Teil der Rechnung.
Ein einfacher Parameter-Shift-Pfad für acht trainierbare und vier Eingabewinkel würde 24 verschobene Einstellungen plus einen Vorwärtslauf benötigen. Das entspricht 25 mal der gewählten Shotzahl pro Beispiel. Diese Konstruktion ist keine allgemeine Quantenuntergrenze. Native Gatter, Fehlerkorrektur, Steuerung und Versorgung sind nicht gemessen. Vier Qubits lassen sich hier zudem mit nur 16 klassischen Amplituden simulieren, weshalb ein Qualitätsgewinn allein noch keinen Hardwarevorteil begründen würde.
Welche Schlussfolgerung das Experiment trägt
Der konkret geprüfte Adapter wird nicht auf eine kostenpflichtige QPU übertragen. Unter dem festgelegten Budget erreicht er das Qualitätsziel nicht. Alle ausgewählten Versuche enden zugleich am höchsten getesteten Lernraten- und Schrittbudget. Vollständige Konvergenz oder optimale Hyperparameter sind damit nicht nachgewiesen. WikiText könnte außerdem im Vortraining des Backbones enthalten gewesen sein.
Diese Grenzen betreffen die Reichweite des Befunds, nicht seine Richtung im geprüften Vergleich. Eine andere Einbauposition, ein anderer Auslesevertrag oder eine quantennative Modellfamilie benötigt eine neue kontrollierte Hypothese. Der vorliegende Versuch liefert eine überprüfbare Entscheidung für diese Familie und dokumentiert sowohl ihre Lernfähigkeit als auch den Rückstand zur passenden klassischen Referenz.
Konsequenz für den nächsten Entwurf
Diese konkrete Adapterfamilie nicht auf eine kostenpflichtige QPU portieren.