Ragionare su una scheda grafica: QwQ-32B e che cosa rende possibile
Alibaba ha reso open source questa settimana un modello di ragionamento da 32 miliardi di parametri, dato alla pari con modelli molto più grandi. La notizia è la dimensione.
Il 5 marzo 2025 il team Qwen di Alibaba ha pubblicato QwQ-32B con licenza aperta: un modello di ragionamento da 32 miliardi di parametri che secondo i resoconti eguaglia le prestazioni di modelli molte volte più grandi, anche sui test di matematica e programmazione.
Le rivendicazioni di parità vanno sempre scontate. Il numero di parametri no: decide dove il modello possa fisicamente girare.
Perché 32 miliardi è il numero interessante
Un modello di questa taglia sta, con la solita compressione, su una singola scheda grafica di fascia alta. È una macchina sotto una scrivania, non un armadio in un centro di calcolo né un cluster affittato.
Tre mesi fa far girare un modello che ragiona prima di rispondere significava pagare un fornitore a richiesta. Ora esiste una risposta hardware, e costa più o meno quanto una buona postazione di lavoro.
A chi interessa davvero in Svizzera
Non alla maggior parte delle PMI. Un servizio ospitato con un contratto serio resta più semplice, complessivamente più economico e, alle tre di notte, un problema di qualcun altro.
Interessa dove il vincolo è assoluto anziché una preferenza. Uno studio legale soggetto al segreto professionale. Uno studio medico. Uno studio d’ingegneria il cui contratto con il cliente vieta del tutto il trattamento da parte di terzi. Una fiduciaria che tiene più contabilità e non vuole spiegare una base di trasferimento a ciascun mandante.
Per loro la risposta a « possiamo usare l’IA su questo materiale? » è passata da no a sì-con-un-server negli ultimi sei mesi, e questa pubblicazione la spinge oltre.
I costi che non compaiono nell’annuncio
L’hardware è la parte economica. Qualcuno deve aggiornarlo, sorvegliarlo, metterlo in sicurezza ed essere reperibile quando si ferma. Un modello su una macchina in ufficio è un server che ora gestite voi, con tutto ciò che comporta.
E un modello aperto non è automaticamente bravo nel vostro lavoro. Provatelo sui vostri documenti, nel vostro italiano, prima che qualcuno compri una scheda.
La posizione ragionevole nel marzo 2025
Senza un vincolo di riservatezza duro: servizio ospitato, e riesame fra un anno. Con un vincolo simile: vale due giorni di prove invece di un rifiuto — e questo l’autunno scorso non si poteva ancora dire.