Wie man ein neues Modell an einem Nachmittag prüft

Ein neues Modell erscheint, und jemand fragt, ob man wechseln soll. Veröffentlichte Vergleichstests beantworten das nicht, denn sie messen Aufgaben, die nicht Ihre sind. Hier eine Methode, die einen Nachmittag kostet und die Frage beantwortet.

Schritt eins: zwanzig echte Beispiele sammeln

Nehmen Sie zwanzig tatsächliche Arbeiten des letzten Monats — zwanzig zusammengefasste Mails, zwanzig Dokumente, aus denen Sie Felder zogen, was immer Ihre echte Nutzung ist. Echte, auch die unbequemen.

Der grösste Wert der Übung liegt in diesem Schritt, und die meisten überspringen ihn und prüfen mit drei aus dem Stand erfundenen Beispielen. Erfundene sind immer sauberer als echte — darum führen sie in die Irre.

Schritt zwei: aufschreiben, wie eine gute Antwort aussieht

Vor jedem Durchlauf. Je Beispiel eine Zeile, was Sie annehmen würden. Das ist unglamourös und verhindert das häufigste Versagen beiläufiger Prüfungen: das Ergebnis danach zu beurteilen, ob es beeindruckend klingt.

Schritt drei: alle zwanzig durch beide Modelle

Das heute genutzte und das neue. Gleiche Anweisung, gleiche Eingaben, keine Anpassungen. Ergebnisse nebeneinander behalten.

Schritt vier: zählen

Wie viele waren bei jedem annehmbar? Nicht besser oder schlechter im Gefühl — annehmbar oder nicht, gemessen an Schritt zwei.

Nach unserer Erfahrung fällt das Ergebnis meist dreifach aus: klar besser, nicht unterscheidbar, oder in einigem besser und in anderem schlechter. Das dritte ist das häufigste und nützlichste, denn es sagt: beide behalten und nach Aufgabe leiten — die Dreistufigkeit vom April.

Warum das besser ist als Vergleiche zu lesen

Weil es Ihre Arbeit misst, in Ihren Sprachen, an Ihren unbequemen Fällen. Ein veröffentlichter Test kann das nicht, und eine Anbietervorführung ist eigens darauf angelegt, es nicht zu tun.

Heben Sie die zwanzig Beispiele auf. Beim nächsten Modell — nach derzeitigem Takt in etwa drei Wochen — wird aus dem Nachmittag eine Stunde.