Comment tester un nouveau modèle en un après-midi

Un nouveau modèle paraît et quelqu’un demande s’il faut changer. Les tests publiés n’y répondront pas, car ils mesurent des tâches qui ne sont pas les vôtres. Voici une méthode d’un après-midi qui y répond.

Étape un : rassembler vingt exemples réels

Prenez vingt travaux réels du mois écoulé — vingt courriels résumés, vingt documents dont vous avez extrait des champs, quel que soit votre usage véritable. De vrais, y compris les pénibles.

L’essentiel de la valeur de l’exercice est dans cette étape, et la plupart la sautent pour tester avec trois exemples inventés sur-le-champ. Les exemples inventés sont toujours plus propres que les vrais — d’où leur pouvoir d’égarer.

Étape deux : écrire à quoi ressemble une bonne réponse

Avant tout essai. Pour chaque exemple, une ligne sur ce que vous accepteriez. C’est sans éclat et cela prévient l’échec le plus courant des tests informels : juger le résultat à sa capacité d’impressionner.

Étape trois : passer les vingt dans les deux modèles

Celui que vous utilisez et le nouveau. Même instruction, mêmes entrées, aucun ajustement. Gardez les sorties côte à côte.

Étape quatre : compter

Combien étaient acceptables chez chacun ? Pas mieux ou moins bien au ressenti — acceptable ou non, au regard de l’étape deux.

D’après notre expérience, le résultat est l’un de trois : nettement meilleur, indiscernable, ou meilleur sur certains et moins bon sur d’autres. Le troisième est le plus fréquent et le plus utile, car il vous dit de garder les deux et de router par tâche — l’idée des trois paliers d’avril.

Pourquoi cela vaut mieux que lire des comparatifs

Parce que cela mesure votre travail, dans vos langues, sur vos cas pénibles. Un test publié ne le peut pas, et une démonstration de fournisseur est précisément conçue pour ne pas le faire.

Conservez les vingt exemples. Au prochain modèle — à la cadence actuelle, dans trois semaines environ — l’après-midi devient une heure.