Comment lire une affirmation de benchmark, avec l’exemple de ce week-end

Meta a publié Llama 4 le 5 avril 2025. En deux jours, il figurait près du sommet d’un classement public très suivi. Deux jours plus tard, on apprenait que la variante soumise était une version expérimentale réglée pour plaire en conversation — pas le modèle publié au téléchargement, nettement moins bien placé sur le même classement.

Les responsables du classement ont déclaré publiquement que l’interprétation de leur règlement ne correspondait pas à ce qu’ils attendent des fournisseurs, et l’ont durci.

Pourquoi cela concerne une PME

Pas parce que Meta se serait comportée de façon unique. Parce que c’est une démonstration publique et nette de ce qui reste d’ordinaire invisible : le chiffre de l’annonce et la chose réellement utilisable sont deux objets différents.

Le même écart existe, moins visiblement, dans toutes les démonstrations de fournisseurs auxquelles vous assisterez cette année.

Quatre questions qui survivent à tout classement

• La chose testée est-elle la chose achetable ? Même version, mêmes réglages, même configuration ? C’est la question que ce week-end vient de rendre célèbre, et elle est rarement posée.
• Qui a choisi le test ? Un résultat publié par celui qui a sélectionné le benchmark est du marketing. Il peut être vrai. Ce n’est pas une preuve.
• Le test ressemble-t-il à votre travail ? Les mathématiques de concours et la préférence conversationnelle n’ont presque rien à voir avec lire un bulletin de livraison suisse ou rédiger un rappel en français poli.
• Quel est le taux d’erreur, pas le taux de réussite ? « 95 pour cent d’exactitude » signifie qu’un sur vingt est faux. Que ce soit excellent ou inutilisable dépend entièrement de ce qui arrive à celui-là.

La seule évaluation qui compte

Vingt de vos propres documents. Vos factures, vos offres, vos courriels clients, votre français avec ses abréviations et ses tournures maison.

Un après-midi de cela en dit plus que tous les classements du monde, et cela ne se truque pas, puisque vous avez choisi les entrées et connaissez les bonnes réponses.

Faites-en une règle permanente pour tout achat d’IA : pas de décision sans vingt exemples réels. Cela coûte une demi-journée et n’a jamais été une mauvaise idée.