Die aktive Summe im Mittelpunkt
Gewichte wiederverwenden, Zwischenwerte direkt weiterreichen und fortlaufende FP32-Summen nahe am Rechenwerk halten: Diese drei Beiträge untersuchen wir in getrennten Versuchen und verbinden sie über klar definierte Schnittstellen.
Speicher bleibt eine physische Ressource
Kapazität allein genügt nicht. Speicherbänke, gleichzeitig nutzbare Ports, Rückstau, Antwortpuffer und die aktive Schicht bestimmen, wie viel Bandbreite wirklich ankommt. Register sparen SRAM-Verkehr, benötigen aber Fläche, Taktenergie und Auswahlleitungen.
Prefill und Decode verlangen verschiedene Pläne
Viele Eingabetokens können beim Prefill dieselben Gewichte gemeinsam nutzen. Einzelne Decode-Tokens sind in unserer bisherigen Abbildung stärker durch die äußere Gewichtsbereitstellung begrenzt. Ein optimaler Tokenblock für einen Fall ist deshalb kein universeller Gewinner.
Größe ist eine Entwurfsvariable
Mehrere Dies, größere Träger und modulare Rechen-Speicheranordnungen bleiben im Suchraum. Wir bewerten die gesamte Datenbewegung, Versorgung, Kühlung und aktive Bandbreite. Die Summe vieler Speichermodule wird nicht automatisch zur Bandbreite der gerade benötigten Modellschicht.
Ein Modellwechsel ohne neuen Maskensatz
Die Architektur soll aktualisierte Gewichte, Zustände und Programme innerhalb erklärter Kapazitäts- und Operationsgrenzen ausführen. Größere Modelle können zusätzliche kompatible Module benötigen. Fest in Masken eingebrannte Modellgewichte erfüllen dieses Ziel nicht.
