Un modello da 70 miliardi alla pari con uno da 405. L’efficienza è la tendenza silenziosa del 2024
Meta ha pubblicato Llama 3.3 70B il 6 dicembre 2024, rivendicando prestazioni vicine al predecessore molto più grande a una frazione del costo di esercizio.
Il 6 dicembre 2024 Meta ha pubblicato Llama 3.3 70B affermando che offre prestazioni simili al Llama 3.1 da 405 miliardi di parametri a una frazione del costo di esercizio. I miglioramenti riguardano soprattutto il rispetto delle istruzioni e il multilinguismo.
Lasciamo da parte se l’affermazione regga in ogni caso. La direzione è stata costante tutto l’anno, ed è la tendenza con le conseguenze più pratiche per una PMI.
Perché più piccolo a parità conta più di più grande
Si vede sulla vostra fattura. Un modello sei volte più leggero da far girare costa meno per risposta. Nel corso del 2024 il prezzo di un dato livello di capacità è sceso ripetutamente, e questo è uno dei meccanismi.
Cambia dove un modello può abitare. Un modello da 70 miliardi di parametri è esigente ma gestibile su hardware reale. Uno da 405 miliardi è una questione da centro di calcolo. Quella differenza decide se l’autogestione sia perfino una conversazione.
Rende possibile la velocità. I modelli più piccoli rispondono più in fretta, e ovunque una persona attenda — una ricerca durante una telefonata con un cliente, una verifica mentre si scrive un’offerta — il tempo di risposta conta più degli ultimi punti di precisione.
La lezione per scegliere gli strumenti
Il numero di parametri è marketing. Nel 2023 era un indicatore grossolano di capacità, oggi non lo è più. Un fornitore che apre con la dimensione del modello sottostante vi sta parlando del suo fornitore, non del vostro risultato.
La prova utile non è cambiata: date allo strumento dieci esempi reali del vostro lavoro — le vostre offerte, le e-mail ai clienti, il vostro italiano, le vostre abbreviazioni — e guardate che cosa torna. Richiede un pomeriggio e dice più di qualsiasi tabella.
Che cosa aspettarsi d’ora in poi
Date per scontato che la capacità per cui oggi pagate prezzi premium sarà disponibile su un modello più piccolo ed economico entro un anno. Non è un motivo per aspettare: individuare il compito a cui applicarla richiede più tempo di quanto l’attesa farebbe risparmiare.
È un motivo per tenere i contratti brevi e per non costruire nulla che funzioni solo con un modello preciso.