Le test des vingt exemples, en détail
Ce blog répète depuis avril qu’aucun achat d’IA ne devrait se faire sans vingt exemples réels. Voici comment le mener réellement en un après-midi.
Choisir vingt documents et regarder ce qui se passe semble assez évident pour se passer de mode d’emploi. Ce ne l’est pas — et la différence entre un test utile et un test rassurant tient entièrement au choix des vingt.
Choisir les vingt
Pas vingt exemples typiques. C’est l’erreur, et c’est pourquoi les fournisseurs démontrent sur des données propres.
Dix ordinaires. La facture bien composée, la demande standard. Elles posent la base, et presque tout les passe.
Cinq pénibles. Le document photographié, celui dans une deuxième langue, celui avec une annotation manuscrite, le fournisseur dont la mise en page a changé l’an dernier.
Trois vraiment difficiles. Le cas où la bonne réponse exige quelque chose qui n’est pas dans le document. Celui pour lequel vos propres équipes ont dû demander.
Deux qui devraient être refusés. Un document d’un tout autre type. Un formulaire à moitié vide. Vous testez si le système dit « je ne peux pas » ou invente une réponse — la chose la plus importante à apprendre.
Écrire d’abord les bonnes réponses
Avant de lancer quoi que ce soit, écrivez pour chacun des vingt ce que serait la sortie correcte. Cela prend plus de temps que le test lui-même et ce n’est pas facultatif.
Sans cela, vous jugerez la sortie en la lisant et en pensant « ça a l’air juste » — et les réponses fausses d’allure plausible sont exactement le défaut que vous cherchez à détecter.
Lire le résultat
Notez chacun comme juste, faux, ou correctement refusé. Puis regardez la forme plutôt que le total.
Dix-huit justes et deux faux avec assurance sur les cas difficiles : système utilisable, à frontière connue. Seize justes et quatre faux avec assurance, dispersés de façon imprévisible : non, bien que le score soit proche.
Les deux refus comptent le plus. Un système qui les a refusés est un système autour duquel on peut bâtir un processus. Un système qui a produit un charabia fluide pour un formulaire à moitié vide fera pareil en production, un mardi, quand personne ne regarde de près.
Gardez les vingt
Conservez les documents et les réponses attendues. Relancez-les quand le fournisseur met quelque chose à jour, et chaque mois si le processus compte.
C’est le test fixe recommandé après le retour en arrière du modèle en avril, et voilà d’où il vient : le travail est déjà fait dès le premier achat.