Die richtige Kontrollgruppe
Wer ein Lernverfahren nur mit zufälliger Auswahl vergleicht, kann einen Vorteil überschätzen. In unseren Syntheseversuchen standen auch Standardrezept zuerst, einfache Übertragung und weitere feste Regeln im Vergleich. Die Testschaltung blieb jeweils aus dem Training heraus.
Was die kleine Aufgabe zeigte
Drei Verfahren erreichen sechs von sechs Schaltungen mit insgesamt acht Aufrufen: zwei feste Strategien und ein Entscheidungsbaum. Der Baum braucht zusätzlich Training. Ein perfekter Erstvorschlag könnte in dieser Aufgabe nur zwei weitere Aufrufe sparen. Die Aufgabe bietet wenig Raum für einen großen KI-Vorteil.
Reparieren ist eine andere Aufgabe
LLMs können kleine RTL-Fehler erfolgreich reparieren. In vollständigen Paaren waren die vier gewählten Fehler jedoch schon ohne Werkzeugdiagnose lösbar. Ein zusätzlicher Feedbackgewinn war deshalb nicht erkennbar. Das widerlegt weder Werkzeugfeedback allgemein noch jede KI-Suche.
Was zu einer belastbaren Aussage fehlt
Wir müssten gleiche Zielgüte bei geringerem Gesamtaufwand zeigen: einschließlich Training, Modellaufrufen, Synthese, Verifikation und menschlichen Eingriffen. Das bloße Arbeiten mit einem KI-Assistenten ist noch kein gemessener Prozessvorteil.
