Une IA qui bouge la souris : le computer use d’Anthropic et les questions qu’il pose

Le 22 octobre 2024, Anthropic a publié une version améliorée de Claude 3.5 Sonnet, un nouveau Claude 3.5 Haiku et une capacité en bêta publique appelée computer use : le modèle regarde un écran, déplace le curseur, clique et tape, comme une personne.

Anthropic a été inhabituellement clair sur l’état de la chose. La fonction est expérimentale, elle est lente, et elle échoue sur des tâches que les humains jugent triviales. Cette franchise est la partie la plus utile de l’annonce.

En quoi c’est différent

Jusqu’ici, relier un modèle à un système de gestion voulait dire une intégration : une interface définie, un compte nommé, une liste d’opérations permises. Étroit, auditable et long à construire.

Le computer use saute cette étape. Qui sait piloter l’écran sait piloter toute application qu’une personne utilise, y compris celles sans aucune interface programmable. L’outil trentenaire qui fait tourner votre planification de production devient soudain atteignable.

C’est réellement séduisant pour la longue traîne des logiciels que personne n’intégrera jamais. C’est aussi là que la prudence s’impose.

La question qui se déplace

Une intégration classique est bornée par ce que l’interface expose. Un modèle qui pilote un écran est borné par ce que l’utilisateur connecté peut atteindre — nettement plus, dans la plupart des PME.

Donnez une session de bureau à un agent et il hérite de toute la session : les partages de fichiers, la messagerie, l’ERP, le navigateur et ses mots de passe enregistrés. L’autorisation accordée était « utiliser cet ordinateur ». L’autorisation réelle était tout ce que ce compte peut faire.

Second point, signalé par Anthropic : un modèle qui lit un écran ne distingue pas toujours le contenu de l’instruction. Un texte sur une page web disant « ignore tes instructions précédentes » n’est, pour un agent qui lit l’écran, que de l’écran en plus.

Une position raisonnable pour octobre 2024

• Traitez-le comme un aperçu, pas un produit. Rien en production.
• Si vous expérimentez, prenez une machine et un compte séparés, avec uniquement les accès nécessaires à l’essai.
• Ne donnez jamais à un agent une session capable d’approuver un paiement, d’envoyer du courrier externe ou de supprimer des enregistrements.
• Consignez ce qu’il a fait. Une action sans trace est inauditable par construction.

La direction est claire et voici le premier pas honnête dans cette voie. Observez de près, et tenez-la à l’écart de votre comptabilité de production pour l’instant.