Il prezzo di una risposta IA si è dimezzato, e conta più del prossimo modello
Il DevDay di OpenAI del 1° ottobre 2024 non ha prodotto un nuovo modello di punta. Ha prodotto qualcosa di più utile per chi costruisce un business case.
Il 1° ottobre 2024, alla conferenza per sviluppatori di San Francisco, OpenAI ha annunciato il caching dei prompt: il testo che il modello ha visto negli ultimi minuti costa metà se rispedito. È stato l’annuncio meno spettacolare dell’anno e probabilmente il più gravido di conseguenze per chi mette a budget un progetto di IA.
Che cosa è stato annunciato davvero
Tre elementi contano per l’uso aziendale.
Caching dei prompt. Le applicazioni rispediscono lo stesso blocco di contesto a ogni richiesta: un’istruzione di sistema, un listino, una serie di regole. Quella parte ripetuta ora costa il 50 per cento in meno e torna più in fretta.
API Realtime. Voce in entrata, voce in uscita, senza gli scatti di registrazione, trascrizione, risposta e lettura. L’interazione di tipo telefonico è passata da dimostrazione a funzione.
Distillazione dei modelli. Strumenti per addestrare un modello piccolo ed economico sulle uscite di uno grande per un compito stretto — smistare la posta in arrivo, non scrivere saggi.
Perché conta proprio quello noioso
Ogni business case sull’IA ha la stessa forma: valore per risposta, meno costo per risposta, per il volume. Per due anni la discussione si è arenata sul primo termine. Il modello è abbastanza buono? Nel frattempo il secondo crollava in silenzio.
Questo sposta il confine di ciò che vale la pena automatizzare. Un’attività che fa risparmiare quattro minuti non vale nulla a cinquanta centesimi a chiamata e vale chiaramente la pena a cinque. Molto lavoro poco appariscente in una PMI svizzera — smistare le fatture in arrivo, abbozzare risposte standard, confrontare una bolla di consegna con l’ordine — sta esattamente in questa fascia.
Che cosa farne
Se avete valutato un’idea di IA nel 2023 e l’avete accantonata perché i conti non tornavano, i conti sono cambiati. Riprendete le due o tre idee scartate e rifate il calcolo. Alcune ora superano la soglia senza alcuna modifica.
Attenzione all’errore opposto. Risposte più economiche invogliano a far girare il modello su tutto, anche su dati che non dovrebbero mai uscire dall’azienda. Il prezzo non è un permesso. Quali dati possono partire, verso chi, in quale Paese: nessuno sconto cambia questa domanda.
La regola pratica: lasciate che i prezzi in calo allunghino la lista dei candidati, e che siano le vostre regole sui dati a decidere quali sopravvivono.