Un modello di ragionamento aperto, ospitabile in proprio. Novembre finisce con un’opzione
Alibaba ha pubblicato QwQ-32B-Preview con licenza permissiva a fine novembre 2024. Tre mesi fa questa classe di modelli esisteva solo dietro un’interfaccia a pagamento.
A fine novembre 2024 il team Qwen di Alibaba ha pubblicato QwQ-32B-Preview, un modello di ragionamento da 32 miliardi di parametri con licenza permissiva Apache 2.0. Punta su matematica, logica e programmazione, e i suoi pesi sono scaricabili.
Tre mesi fa un modello che ragiona prima di rispondere esisteva solo come servizio a pagamento dietro l’interfaccia di qualcun altro. Ora è un file che potete ospitare.
Che cosa è cambiato davvero
Non la classifica. La forma dell’opzione.
Per la maggior parte delle PMI la risposta onesta resta: usate un servizio ospitato. Far girare un modello da 32 miliardi di parametri richiede hardware vero, qualcuno che lo mantenga e un motivo. « Perché possiamo » non è un motivo, e l’autogestione ha l’abitudine di diventare il modo più costoso di risparmiare.
Ma l’opzione ora esiste dove non esisteva, e conta in due casi precisi.
Vincoli di riservatezza reali. Uno studio legale, uno studio medico, uno studio d’ingegneria legato da un accordo con il cliente che vieta il trattamento da parte di terzi. Finora la risposta era « allora non potete usarlo ». Ora esiste una risposta che comprende un server.
La trattativa. Anche senza mai ospitare in proprio, un’alternativa credibile cambia il tono di una discussione di rinnovo.
Che cosa non è cambiato
Pesi aperti non significa gratis. Hardware, corrente, aggiornamenti e la persona che ripara alle sette del mattino sono costi reali, e per un’azienda di 40 persone superano di molto una fattura d’interfaccia.
I pesi aperti non dicono nulla nemmeno sulla qualità nel vostro lavoro. Un modello messo a punto per la matematica da concorso può essere insignificante nel leggere una bolla di consegna svizzera.
Chiusura di novembre
Questo mese ha prodotto un plateau riportato nella scalabilità, un fornitore europeo da valutare, uno standard di connessione, agenti dentro Microsoft 365 e due modelli di ragionamento capaci fuori dai laboratori consueti.
Lo schema è ovunque lo stesso: la capacità si diffonde verso l’esterno e verso il basso, e la cosa scarsa non è più l’accesso a un buon modello. È sapere su quale dei vostri processi puntarlo.