Überblick
Am 24. Juli 2026 wurde im offiziellen Laravel-Blog der Artikel AI agents pass tests. Can they write idiomatic Laravel? veröffentlicht. Er beschreibt, wie Boost Benchmarks – die Bewertungsgrundlage von Laravel Boost – eine grundlegende Neuausrichtung bei der Bewertung von KI-Coding-Agenten vollzieht.Boost Benchmarks ist eine Bewertungssuite, die anhand von Pest-Tests und Architekturtests überprüft, ob KI-Coding-Agenten Laravel-Anwendungen korrekt implementieren können.
Der bisherige Weg: 17 Evals erreichen „nahezu alle korrekt”
Zum Zeitpunkt des früheren Artikels which AI model is best for Laravel bestanden die führenden Modelle mit Boost 16 von 17 Evals (Bewertungsaufgaben), was einer Erfolgsquote von 99,4 % entspricht. Dennoch konnte nur die schwierigste Aufgabe nicht bewältigt werden. Laut dem aktuellen Artikel meistern die neuesten Frontier-Modelle wie GPT-5.6, Claude Fable 5 / Mythos 5 und die Gemini-3.x-Reihe dieselben 17 Aufgaben nun nahezu zu 100 %. Auf die Frage „Können KI-Agenten korrekten Laravel-Code schreiben?” gibt es damit ein klares „Ja”. Das ist nicht auf Boost beschränkt, sondern ein Phänomen, das sich in Coding-Benchmarks insgesamt zeigt.- SWE-bench Verified: Führende Modelle liegen inzwischen auf annähernd menschlichem Expertenniveau gleichauf – faktisch gesättigt.
- HumanEval: Kann Modellunterschiede schon lange nicht mehr sinnvoll erkennen.
Warum „Tests bestehen” allein nicht ausreicht
Der Artikel weist auch darauf hin, dass das Bestehen von Tests kein vollständiger Beweis für „guten Code” ist.- OpenAI hat nach einer Prüfung, die viele fehlerhafte Aufgabenstellungen aufdeckte, die Berichterstattung zu SWE-bench Verified eingestellt.
- Untersuchungen von Cursor zeigen Fälle, in denen Modelle die Lösung aus dem
.git-Verlauf o. ä. „ableiteten” und scheinbar löste; wurden diese Verläufe verborgen, brach der Score ein.
.git versteckt sind. Dennoch beweist das Bestehen der Pest-Suite nicht direkt, dass „das Modell im Laravel-Stil schreibt”. Genau diese Lücke zwischen „funktioniert” und „fügt sich in die Codebasis ein” steht als Nächstes im Fokus.
Neue Bewertungsdimensionen: Korrektheit pro Token und „Laravel-Idiomatik”
Der Artikel schlägt für die Zukunft die folgenden zwei Richtungen vor.1
Korrektheit pro Token (correct code per token)
Wenn alle Modelle die richtige Lösung erreichen, wird als Nächstes wichtig, „mit welchen Kosten” sie das tun. Für dasselbe Ergebnis kann sich der Token-Verbrauch zwischen Modellen um eine oder zwei Größenordnungen unterscheiden. Boost erfasst bereits die Token-Zahl und die Kosten jedes Durchlaufs, wird diese aber künftig nicht mehr als Fußnote, sondern als Kernmetrik behandeln.
2
Laravel-Idiomatik (idiomatic Laravel)
Selbst wenn Tests bestehen: Code, der rohe SQL-Queries schreibt,
Route::resource() nicht nutzt, statt einer Form Request manuelle Validierung schreibt oder $fillable auslässt, ist kein „guter Laravel-Code”. Mit LLM-as-Judge-basierter Bewertung ist inzwischen der Punkt erreicht, an dem sich auch ohne Musterlösung beurteilen lässt, „ob etwas Laravel-typisch ist”.Cache::remember()verwenden statt eigener Cache-Logik.- Form Requests statt Inline-Validierung nutzen.
- Für Eager Loading
with()einsetzen. - Bei Routen-Definitionen
Route::resource()verwenden.
Was Boost Benchmarks künftig messen soll
Am Ende des Artikels werden folgende zu ergänzende Messgrößen genannt.- Token und Kosten als Kernmetrik: pro Eval und Modell zusammen mit der Erfolgsquote ausweisen.
- Idiomatik-Bewertung zusätzlich zu Pest- und Architekturtests einführen.
- Kontext schlank halten als zentrales Engineering-Ziel von Boost selbst (Streichen redundanter Guidelines, Optimieren von Tool-Ausgaben, gezieltes Indexieren nur notwendiger Informationen).
Fazit
Die Frage „Können KI-Agenten korrekten Laravel-Code schreiben?” ist entschieden. Die nächste Frage lautet nun: „Wie effizient?” und „Wie Laravel-typisch?” können sie ihn schreiben. Falls Sie Boost noch nicht ausprobiert haben, können Sie es über die offizielle Dokumentation installieren. Zur Einrichtung von Boost selbst siehe auch die Seite Laravel Boost.Originalartikel lesen
AI agents pass tests. Can they write idiomatic Laravel? (laravel.com)