Come provare un nuovo modello in un pomeriggio
Non con test comparativi. Con venti vostri esempi e un foglio di carta, che vi diranno più di qualunque confronto pubblicato.
Esce un nuovo modello e qualcuno chiede se convenga cambiare. I test pubblicati non risponderanno, perché misurano compiti che non sono i vostri. Ecco un metodo da un pomeriggio che risponde.
Passo uno: raccogliere venti esempi veri
Prendete venti lavori reali dell’ultimo mese — venti mail riassunte, venti documenti da cui avete estratto campi, qualunque sia il vostro uso vero. Veri, compresi quelli scomodi.
Gran parte del valore dell’esercizio sta in questo passo, e quasi tutti lo saltano provando con tre esempi inventati sul momento. Gli esempi inventati sono sempre più puliti di quelli veri — per questo ingannano.
Passo due: scrivere che aspetto abbia una buona risposta
Prima di provare qualunque cosa. Per ogni esempio, una riga su che cosa accettereste. È senza lustro e previene il fallimento più comune delle prove informali: giudicare il risultato da quanto suona impressionante.
Passo tre: far passare tutti e venti in entrambi i modelli
Quello che usate e quello nuovo. Stessa istruzione, stessi ingressi, nessun aggiustamento. Tenete i risultati affiancati.
Passo quattro: contare
Quanti erano accettabili per ciascuno? Non migliori o peggiori come sensazione — accettabili o no, rispetto al passo due.
Per nostra esperienza l’esito è uno di tre: chiaramente migliore, indistinguibile, oppure migliore su alcuni e peggiore su altri. Il terzo è il più frequente e il più utile, perché vi dice di tenere entrambi e smistare per compito — l’idea delle tre fasce di aprile.
Perché batte la lettura dei confronti
Perché misura il vostro lavoro, nelle vostre lingue, sui vostri casi scomodi. Un test pubblicato non può farlo, e una dimostrazione di un fornitore è progettata proprio per non farlo.
Conservate i venti esempi. Al prossimo modello — con la cadenza attuale, fra circa tre settimane — il pomeriggio diventa un’ora.