Le prix d’une réponse d’IA vient d’être divisé par deux, et cela compte plus que le prochain modèle
Le DevDay d’OpenAI du 1er octobre 2024 n’a pas livré de nouveau modèle phare. Il a livré quelque chose de plus utile pour qui construit un dossier de rentabilité.
Le 1er octobre 2024, lors de sa conférence développeurs à San Francisco, OpenAI a annoncé la mise en cache des invites : le texte que le modèle a vu dans les dernières minutes coûte moitié moins cher à renvoyer. C’était l’annonce la moins spectaculaire de l’année, et probablement la plus lourde de conséquences pour quiconque chiffre un projet d’IA.
Ce qui a réellement été annoncé
Trois points comptent pour un usage professionnel.
La mise en cache des invites. Les applications renvoient le même bloc de contexte à chaque requête : une consigne système, une liste de prix, un jeu de règles. Cette partie répétée coûte désormais 50 pour cent de moins et revient plus vite.
L’API Realtime. La voix entre, la voix sort, sans les à-coups de l’enregistrement, de la transcription, de la réponse et de la lecture. L’interaction de type téléphonique est passée de la démonstration à la fonction.
La distillation de modèles. Des outils pour entraîner un petit modèle bon marché sur les sorties d’un grand, pour une tâche étroite — trier le courrier entrant plutôt que rédiger des essais.
Pourquoi c’est l’annonce ennuyeuse qui compte
Tout dossier de rentabilité en IA a la même forme : valeur par réponse, moins coût par réponse, multiplié par le volume. Depuis deux ans, le débat est bloqué sur le premier terme. Le modèle est-il assez bon ? Pendant ce temps, le second s’effondrait en silence.
Cela déplace la frontière des tâches qui valent la peine. Une opération qui fait gagner quatre minutes ne vaut rien à cinquante centimes l’appel et vaut clairement la peine à cinq. Beaucoup de travail ingrat dans une PME suisse — trier les factures entrantes, rédiger des réponses standard, comparer un bulletin de livraison à une commande — se situe exactement dans cette bande.
Ce qu’il faut en faire
Si vous avez chiffré une idée d’IA en 2023 et l’avez abandonnée faute de rentabilité, les chiffres ont bougé. Reprenez les deux ou trois idées écartées et recalculez-les. Certaines passeront la barre sans aucune modification.
Méfiez-vous de l’erreur inverse. Des réponses moins chères incitent à passer le modèle sur tout, y compris sur des données qui ne devraient jamais quitter la maison. Le prix n’est pas une autorisation. Quelles données peuvent partir, vers qui, dans quel pays : un rabais ne change rien à cette question.
La règle pratique : laissez la baisse des prix allonger la liste des candidats, et laissez vos règles de données décider lesquels survivent.