Der Zwanzig-Beispiele-Test, im Detail
Dieser Blog sagt seit April: kein KI-Kauf ohne zwanzig echte Beispiele. Hier steht, wie man das an einem Nachmittag tatsächlich durchführt.
Zwanzig Dokumente auszuwählen und zu schauen, was passiert, klingt offensichtlich genug, um keine Anleitung zu brauchen. Ist es nicht — und der Unterschied zwischen einem nützlichen und einem beruhigenden Test liegt ganz in der Auswahl der zwanzig.
Die zwanzig auswählen
Nicht zwanzig typische Beispiele. Das ist der Fehler, und deshalb führen Anbieter auf sauberen Daten vor.
Zehn gewöhnliche. Die gut gesetzte Rechnung, die Standardanfrage. Sie stecken die Grundlinie ab, und fast alles besteht sie.
Fünf sperrige. Das abfotografierte Dokument, das in einer zweiten Sprache, das mit Handschrift am Rand, der Lieferant, dessen Layout letztes Jahr wechselte.
Drei wirklich schwere. Der Fall, in dem die richtige Antwort etwas braucht, das nicht im Dokument steht. Der, bei dem Ihre eigenen Leute nachfragen mussten.
Zwei, die abgelehnt werden sollten. Ein Dokument der völlig falschen Art. Ein halb leeres Formular. Sie prüfen, ob das System sagt « das kann ich nicht » oder eine Antwort erfindet — das Wichtigste, was es zu erfahren gibt.
Die richtigen Antworten zuerst aufschreiben
Bevor Sie irgendetwas laufen lassen, schreiben Sie für alle zwanzig auf, was das korrekte Ergebnis wäre. Das dauert länger als der Test selbst und ist nicht wahlfrei.
Ohne das bewerten Sie die Ausgabe, indem Sie sie lesen und denken « sieht richtig aus » — und plausibel aussehende falsche Antworten sind genau das Versagensmuster, das Sie aufspüren wollen.
Das Ergebnis lesen
Bewerten Sie jedes als richtig, falsch oder richtig abgelehnt. Schauen Sie dann auf die Form statt auf die Summe.
Achtzehn richtig und zwei selbstbewusst falsch bei den schweren Fällen ist ein brauchbares System mit bekannter Grenze. Sechzehn richtig und vier selbstbewusst falsch, unvorhersehbar verstreut, ist keines — obwohl die Punktzahl ähnlich ist.
Die zwei Ablehnungen zählen am meisten. Ein System, das sie ablehnte, ist eines, um das man einen Prozess bauen kann. Ein System, das für ein halb leeres Formular flüssigen Unsinn erzeugte, tut das auch im Betrieb, an einem Dienstag, wenn niemand genau hinsieht.
Die zwanzig aufbewahren
Speichern Sie die Dokumente und die erwarteten Antworten. Lassen Sie sie erneut laufen, wenn der Anbieter etwas aktualisiert — und monatlich, wenn der Prozess zählt.
Das ist der feste Test, der nach der Modellrücknahme im April empfohlen wurde, und hier kommt er her: Die Arbeit ist beim ersten Kauf schon getan.