Forschungsbericht · überarbeitet am 09. November 2026
Die Forschungsfrage beginnt beim Datenweg
Der Ausgangspunkt ist eine Architektur mit aktualisierbaren Gewichten nahe an gemeinsam genutzten Rechenwerken. Eine mögliche Umsetzung verteilt das Modell auf mehrere Dies, Speicher-Rechenmodule oder größere Träger. Die Hypothese lautet, dass weniger wiederholte Datenbewegung die zusätzlichen Verbindungen und den höheren Grundaufwand aufwiegen kann. Die bloße Größe eines Systems entscheidet diese Frage nicht.
Untersucht wurde ein bedingter Ressourcenraum. Es handelt sich weder um einen gefertigten Großchip noch um ein verbindliches Fertigungskonzept. Die Vergleichsaufgabe bleibt die Ausführung derselben Modelloperationen mit einem definierten Zahlenformat. Ein Modellwechsel soll durch neue Gewichte und Programme möglich sein, ohne einen neuen Maskensatz zu erfordern.
Was die Flächenzahlen tatsächlich beschreiben
Eine frühe Abschätzung ergab rund 11.300 mm² summierte Siliziumfläche für Gewichte in einem bestimmten Speicherdichtekontext. Das entspricht 113 cm² oder rechnerisch einem Quadrat mit etwa 10,6 cm Kantenlänge. Diese Umrechnung beschreibt noch keine reale Platine. Anschlussflächen, Abstände, Versorgung, Rechenlogik und Gehäuse sind darin nicht automatisch enthalten.
Spätere Varianten auf Basis offener IHP-Prozessdaten lagen bei etwa 2,1 bis 3,2 m² summierter Speicher- und Rechenzellfläche. Diese Zahlen sind keine alternative Schätzung desselben Entwurfs. Prozess, Rechenwerke und Umfang unterscheiden sich. Die Suche erlaubte sogar bis zu 10 m². Große Systeme wurden somit nicht pauschal wegen ihrer Fläche ausgeschlossen. Die konkreten Ausführungen scheiterten an zusätzlichen technischen Bedingungen.
Installierte Bandbreite ist noch keine aktive Bandbreite
Bei einer einzelnen autoregressiven Anfrage durchläuft ein Modell seine Schichten nacheinander. Werden die Gewichte jeder Schicht auf ein eigenes Modul verteilt, kann während der Verarbeitung dieser Schicht nur ein Teil der installierten Speicherkanäle arbeiten. Die Bandbreite der gerade ruhenden Schichten darf nicht zum augenblicklichen Datenangebot addiert werden. Eine vollständige Bilanz muss daher für jede Phase festhalten, welche Kanäle liefern, welche Rechenwerke konsumieren und welche Zwischenergebnisse warten.
Mehrere unabhängige Anfragen können eine solche Schichtpipeline besser auslasten. Damit verändert sich jedoch die Zielgröße. Höherer Gesamtdurchsatz bedeutet nicht automatisch eine kürzere Antwortzeit für eine Einzelanfrage. Prefill, Decode, Batchgröße und Warteschlangen müssen getrennt betrachtet werden, bevor daraus eine Systemrangfolge entsteht.
Warum die ersten großen Ausführungen ausscheiden
Die erste vollständige BF16-mal-BF16-plus-FP32-Probe wurde in dieselbe IHP-Bibliothek abgebildet. Der unplatzierte Pfad benötigte unter den geprüften Bedingungen 38,980 ns, entsprechend einer bedingten Rate von 25,65 MHz. Das trug die zuvor angesetzten 100 bis 500 MHz nicht. Diese Probe war ein einfacher kombinatorischer Rechenpfad mit Randregistern. Sie belegt keine allgemeine Frequenzgrenze des Prozesses und berücksichtigt noch keine optimierte interne Pipeline.
Zusätzlich begrenzte die zentrale Zusammenführung der Ergebnisse den Durchsatz. Mehr installierte Rechenwerke beseitigten diesen gemeinsamen Anschluss nicht. Die logische Konsequenz war, die konkreten zentralen Abbildungen auszusortieren und lokale Akkumulation sowie direkte Weitergabe als getrennte Hypothesen zu prüfen. Ein größeres Flächenbudget allein hätte die Ursache nicht behoben.
Thermik, Energie und Fertigung getrennt rechnen
Eine größere Fläche kann die abgegebene Leistung auf mehr Oberfläche verteilen. Daraus folgt zunächst eine geringere Wärmedichte, keine niedrigere elektrische Gesamtleistung. Zusätzliche Leitungen, Taktverteilung, Speicherbänke und ruhende Module können den Verbrauch erhöhen. Umgekehrt können kürzere lokale Verbindungen Energie sparen. Welche Wirkung überwiegt, erfordert charakterisierte Zugriffsenergien und einen zeitlich aufgelösten Betriebsplan.
Auch die Fertigungsfrage bleibt eigenständig. Mehrere kleine Dies, dichte Speicherlagen oder ein anderer Träger können die Aufteilung verändern. Ein Träger aus Folie liefert aber noch keine geeignete schnelle Logik. Offene Prozessdaten ermöglichen überprüfbare Demonstratoren. Sie ersetzen weder eine moderne industrielle Prozesscharakterisierung noch Packagingangebote, Ausbeutedaten oder die Freigaben für eine konkrete Fertigung.
Ein sinnvoller Vergleich für den nächsten Architekturstand
Eine größere Architektur muss Kapazität, gleichzeitig verfügbare Speicherports, Rechenrate und Verbindungen gemeinsam dimensionieren. Der Vergleich benötigt denselben vollständigen Arbeitsumfang und dieselbe Qualitätsanforderung. Speicherverkehr ist in Bytes, Rechenarbeit in Operationen und Energie in Joule zu erfassen. Ein hoher Anteil gezählter Prefill-Operationen darf dabei nicht als identischer Anteil an der gemessenen Laufzeit ausgegeben werden.
Der bisherige Befund rechtfertigt einen offenen Suchraum, aber keine Bevorzugung großer Systeme. Erfolgversprechend wäre eine konkrete Abbildung, die einen dominanten Datenweg reduziert und nach Einrechnung ihrer zusätzlichen Kosten schneller oder energieärmer bleibt. Lokale Kachelergebnisse liefern dafür Bausteine. Erst die vollständige Zuordnung der Modellphasen zeigt, ob diese Bausteine einen Systemvorteil tragen.
Konsequenz für den nächsten Entwurf
Große Systeme weder wegen ihrer Fläche pauschal verwerfen noch ohne vollständige Ressourcenrechnung bevorzugen.