Das Modell passt, und wartet trotzdem
Genügend Speicher sagt noch nicht, ob die aktuell benötigten Gewichte schnell genug bei den Rechenwerken ankommen. Ein voll belegter Speicher kann über zu wenige Ports verfügen. Hohe nominelle Bandbreite kann an Rückstau und endlichen Puffern scheitern.
Der gekoppelte Versuch
Unsere native Mehrkanalprüfung erreichte bei der Q-Projektion 5,421 TB/s konsumierten Gewichtsverkehr, bei MLP-down nur 2,385 TB/s. Dieselbe große Speicheranordnung liefert also je Operator andere nutzbare Leistung.
Der nächste Engpass bleibt nicht weg
Der ungefuste zentrale Pfad produziert im Prefill etwa 183,493 GB Aktivierungsverkehr. Bei 6,4 GB/s sind das mindestens 28,671 Sekunden, bevor die übrigen Kosten vollständig gezählt sind. Gewichtsbandbreite allein kann diese Abbildung nicht retten.
Was wir daraus bauen
Lokale Teilgraphen und Gewichtsblöcke sind konkrete Antworten auf diese Datenbewegung. Ihr Vorteil muss trotzdem gegen eine starke zentrale Referenz bestehen. Für Einzel-Decode oder bereits sehr breite Ports verschwindet er in den bisherigen Modellen häufig.
