Come leggere un risultato di benchmark, con l’esempio di questo fine settimana

Meta ha pubblicato Llama 4 il 5 aprile 2025. In due giorni figurava vicino alla vetta di una classifica pubblica molto seguita. Due giorni dopo si è scoperto che la variante presentata era una versione sperimentale messa a punto per piacere in conversazione — non il modello pubblicato per il download, che sulla stessa classifica andava molto peggio.

I responsabili della classifica hanno dichiarato pubblicamente che l’interpretazione del loro regolamento non corrispondeva a quanto si aspettano dai fornitori, e lo hanno irrigidito.

Perché riguarda una PMI

Non perché Meta si sia comportata in modo unico. Perché è una dimostrazione pubblica e netta di ciò che di solito resta invisibile: il numero nell’annuncio e la cosa realmente utilizzabile sono due oggetti diversi.

Lo stesso scarto esiste, meno visibilmente, in ogni dimostrazione di fornitori a cui assisterete quest’anno.

Quattro domande che sopravvivono a ogni classifica

• La cosa testata è la cosa acquistabile? Stessa versione, stesse impostazioni, stessa configurazione? È la domanda che questo fine settimana ha reso famosa, e viene posta di rado.
• Chi ha scelto il test? Un risultato pubblicato da chi ha selezionato il benchmark è marketing. Può essere vero. Non è una prova.
• Il test somiglia al vostro lavoro? La matematica da concorso e la preferenza conversazionale non hanno quasi nulla a che vedere con leggere una bolla svizzera o redigere un sollecito in italiano cortese.
• Qual è il tasso di errore, non quello di successo? « 95 per cento di accuratezza » significa che uno su venti è sbagliato. Se sia eccellente o inutilizzabile dipende interamente da che cosa succede a quello.

L’unica valutazione che conta

Venti dei vostri documenti. Le vostre fatture, le vostre offerte, le e-mail ai clienti, il vostro italiano con le sue abbreviazioni e le sue formule.

Un pomeriggio così dice più di ogni classifica esistente, e non si può truccare, perché gli input li avete scelti voi e le risposte giuste le conoscete.

Fatene una regola fissa per ogni acquisto di IA: nessuna decisione senza venti esempi reali. Costa mezza giornata e non è mai stata la cosa sbagliata da fare.