Wie man eine Benchmark-Aussage liest — am Beispiel dieses Wochenendes

Meta veröffentlichte Llama 4 am 5. April 2025. Binnen zwei Tagen rangierte es nahe der Spitze einer viel beachteten öffentlichen Bestenliste. Zwei Tage später zeigte sich, dass die eingereichte Variante eine experimentelle, auf Gesprächswirkung abgestimmte Fassung war — nicht das zum Herunterladen veröffentlichte Modell, das auf derselben Liste deutlich schlechter abschnitt.

Die Betreiber der Liste erklärten öffentlich, die Auslegung ihrer Regeln entspreche nicht dem, was sie von Anbietern erwarten, und verschärften diese.

Warum das ein KMU angeht

Nicht weil Meta sich einzigartig verhalten hätte. Sondern weil es eine saubere, öffentliche Vorführung dessen ist, was sonst unsichtbar bleibt: Die Zahl in der Ankündigung und das, was man tatsächlich nutzen kann, sind zwei verschiedene Dinge.

Dieselbe Lücke besteht, weniger sichtbar, in jeder Anbietervorführung, die Sie dieses Jahr erleben werden.

Vier Fragen, die jede Bestenliste überleben

• Ist das Geprüfte das Kaufbare? Dieselbe Version, dieselben Einstellungen, dieselbe Konfiguration? Genau die Frage, die dieses Wochenende berühmt gemacht hat — und die selten gestellt wird.
• Wer hat den Test gewählt? Ein Ergebnis, veröffentlicht von der Partei, die den Test aussuchte, ist Marketing. Es mag trotzdem stimmen. Ein Beweis ist es nicht.
• Ähnelt der Test Ihrer Arbeit? Wettbewerbsmathematik und Gesprächsvorliebe haben fast nichts damit zu tun, einen Schweizer Lieferschein zu lesen oder eine Mahnung in höflichem Französisch zu entwerfen.
• Wie hoch ist die Fehlerquote, nicht die Trefferquote? « 95 Prozent genau » heisst, jedes zwanzigste ist falsch. Ob das ausgezeichnet oder unbrauchbar ist, hängt allein davon ab, was mit dem falschen geschieht.

Die einzige Prüfung, die zählt

Zwanzig Ihrer eigenen Dokumente. Ihre Rechnungen, Ihre Offerten, Ihre Kundenmails, Ihr Deutsch mit seinen Abkürzungen und Schweizer Schreibweisen.

Ein Nachmittag davon sagt mehr als jede existierende Bestenliste — und er lässt sich nicht manipulieren, denn Sie haben die Eingaben gewählt und kennen die richtigen Antworten.

Machen Sie daraus eine stehende Regel für jeden KI-Kauf: kein Entscheid ohne zwanzig echte Beispiele. Es kostet einen halben Tag und war noch nie das Falsche.