Il test dei venti esempi, in dettaglio
Questo blog ripete da aprile che nessun acquisto di IA dovrebbe avvenire senza venti esempi reali. Ecco come svolgerlo davvero in un pomeriggio.
Scegliere venti documenti e guardare che cosa succede sembra abbastanza ovvio da non richiedere istruzioni. Non lo è — e la differenza fra una prova utile e una rassicurante sta tutta in come si scelgono i venti.
Scegliere i venti
Non venti esempi tipici. È l’errore, ed è il motivo per cui i fornitori dimostrano su dati puliti.
Dieci ordinari. La fattura ben composta, la richiesta standard. Stabiliscono la base, e quasi tutto li supera.
Cinque scomodi. Il documento fotografato, quello in una seconda lingua, quello con una nota a mano a margine, il fornitore la cui impaginazione è cambiata l’anno scorso.
Tre davvero difficili. Il caso in cui la risposta giusta richiede qualcosa che nel documento non c’è. Quello su cui le vostre stesse persone hanno dovuto chiedere.
Due che dovrebbero essere rifiutati. Un documento di tipo del tutto sbagliato. Un modulo mezzo vuoto. State verificando se il sistema dice « questo non lo so fare » oppure inventa una risposta — la cosa più importante da scoprire.
Scrivere prima le risposte giuste
Prima di far girare qualsiasi cosa, scrivete per ciascuno dei venti quale sarebbe l’uscita corretta. Richiede più tempo della prova stessa e non è facoltativo.
Senza, giudicherete l’uscita leggendola e pensando « sembra giusta » — e le risposte sbagliate dall’aria plausibile sono esattamente il guasto che volete individuare.
Leggere il risultato
Valutate ciascuno come giusto, sbagliato o correttamente rifiutato. Poi guardate la forma anziché il totale.
Diciotto giusti e due sbagliati con sicurezza sui casi difficili: sistema utilizzabile, con un confine noto. Sedici giusti e quattro sbagliati con sicurezza, sparsi in modo imprevedibile: no, anche se il punteggio è simile.
I due rifiuti contano di più. Un sistema che li ha rifiutati è un sistema attorno a cui si può costruire un processo. Un sistema che ha prodotto sciocchezze scorrevoli per un modulo mezzo vuoto farà lo stesso in esercizio, un martedì, quando nessuno guarda da vicino.
Conservate i venti
Salvate i documenti e le risposte attese. Rifateli girare quando il fornitore aggiorna qualcosa, e ogni mese se il processo conta.
È la prova fissa raccomandata dopo il ritorno indietro del modello ad aprile, ed ecco da dove viene: il lavoro è già fatto al primo acquisto.