Computer Use : Claude contrôle votre Mac

Claude Computer Use transforme votre assistant IA en opérateur autonome de votre ordinateur. Lancée en mars 2026 sur macOS puis étendue à Windows en avril, la fonctionnalité permet à Claude de déplacer la souris, cliquer, taper au clavier et naviguer dans vos applications. L’acquisition de la startup Vercept par Anthropic en février 2026 a accéléré ces progrès, et les scores sur le benchmark OSWorld dépassent désormais le seuil humain avec les derniers modèles. J’ai testé la fonctionnalité dès sa sortie : voici comment l’activer, ce qu’elle permet concrètement et les précautions à prendre.

Le cycle capture-analyse-action se répète jusqu’à la fin de la tâche.

Comment fonctionne Computer Use

Computer Use repose sur un principe simple : Claude observe votre écran via des captures d’écran, décide de l’action à effectuer, puis exécute cette action (clic, saisie, raccourci clavier). Le cycle se répète jusqu’à ce que la tâche soit terminée.

La hiérarchie d’outils de Claude

Claude privilégie les connecteurs dédiés avant de recourir au contrôle d’écran.

Claude ne recourt pas systématiquement au contrôle d’écran. Il suit une logique de précision décroissante :

1. Connecteurs dédiés : si une intégration existe (Gmail, Google Calendar, Slack), Claude l’utilise en priorité. Ces connecteurs sont plus rapides et plus fiables.
2. Navigation dans le navigateur : pour les outils web sans connecteur, Claude ouvre Chrome et navigue comme vous le feriez.
3. Contrôle direct de l’écran : en dernier recours, Claude interagit avec n’importe quelle application via la souris et le clavier.

Cette logique réduit les erreurs : le contrôle d’écran n’intervient que lorsque les autres méthodes ne sont pas disponibles.

Les actions disponibles

Voici les actions que Claude peut effectuer sur votre bureau :

Sur le benchmark OSWorld, qui mesure la capacité des IA à naviguer de manière autonome sur un bureau, Claude est passé de 14,9 % de réussite en octobre 2024 à 72,5 % avec Sonnet 4.6 en mars 2026. Depuis, les progrès se sont accélérés : Opus 4.6 atteint 72,7 %, et Claude Sonnet 5 franchit le seuil humain de 72,4 % avec un score de 88,3 % sur OSWorld-Verified (XLANG Lab, avril 2026). Avec 18,9 millions d’utilisateurs actifs mensuels début 2026 (DemandSage, 2026), la base d’utilisateurs potentiellement concernés est large.

Activer Computer Use : guide étape par étape

La mise en place prend moins de deux minutes. Voici la procédure complète.

Prérequis

• macOS ou Windows (Linux n’est pas encore supporté)
• Claude Desktop à jour (dernière version via claude.ai/download)
• Abonnement Claude Pro (20 $/mois), Claude Max (100 $ ou 200 $/mois), Team ou Enterprise

Procédure d’activation

1. Ouvrez l’application Claude Desktop sur votre Mac ou PC Windows.
2. Rendez-vous dans Réglages > Général (section Desktop app).
3. Activez le toggle Computer Use.
4. Ouvrez l’onglet Cowork pour lancer votre première session.
5. Lors de la première utilisation, votre système vous demande d’accorder les permissions nécessaires (Accessibilité et Enregistrement d’écran sur macOS). Acceptez-les.

Claude est maintenant prêt à contrôler votre ordinateur. Chaque fois qu’il aura besoin d’accéder à une nouvelle application, il vous demandera explicitement la permission avant de continuer.

Démonstrations concrètes : ce que Computer Use sait faire

J’ai regroupé trois scénarios concrets, testés par des utilisateurs et journalistes tech.

Scénario 1 : création de notes à distance via Dispatch

Un journaliste de PCWorld a demandé à Claude, depuis son téléphone, d’ajouter une liste de courses dans l’application Notes de son Mac. Claude a ouvert Notes, créé une nouvelle note, saisi les ingrédients d’une recette de lasagnes et sauvegardé le tout, sans aucune intervention sur l’ordinateur (PCWorld, mars 2026).

Dispatch, la fonctionnalité de contrôle à distance, permet d’envoyer une instruction depuis votre téléphone et de laisser Claude l’exécuter sur votre Mac. Vous pouvez ainsi déléguer des tâches pendant que vous êtes en déplacement.

Scénario 2 : préparation d’un briefing matinal

Claude peut compiler un briefing quotidien en combinant plusieurs sources : consulter votre agenda Google Calendar via le connecteur, ouvrir votre navigateur pour collecter des actualités sectorielles, puis organiser le tout dans un document. Ce cas d’usage illustre la hiérarchie d’outils : connecteur pour l’agenda, puis contrôle d’écran pour la navigation web.

Scénario 3 : remplissage de tableurs et tri de données

Computer Use permet à Claude de travailler dans des tableurs : copier des données depuis un fichier source, les coller dans un Google Sheets, appliquer des formules et formater les cellules. Si vous passez du temps sur des saisies répétitives, c’est le type de tâche où Computer Use se montre le plus utile.

Si vous souhaitez optimiser vos interactions avec Claude au-delà de Computer Use, notre guide des prompts Claude vous aidera à formuler des instructions plus efficaces.

Acquisition de Vercept : Anthropic accélère sur l’agent autonome

En février 2026, Anthropic a acquis Vercept, une startup de Seattle fondée par Kiana Ehsani, Luca Weihs et Ross Girshick, trois chercheurs reconnus en vision par ordinateur (Anthropic, février 2026). Vercept avait développé Vy, un agent IA capable de piloter un Mac à distance dans le cloud, sans intervention humaine. La startup avait levé 50 millions de dollars avant l’acquisition (TechCrunch, février 2026).

L’impact sur Computer Use est direct. Vercept s’était spécialisée dans les problèmes de perception et d’interaction que les agents IA rencontrent face aux interfaces graphiques : reconnaissance de boutons, navigation dans des menus complexes, exécution de workflows multi-applications. Ce sont les faiblesses que j’ai constatées lors de mes tests de Computer Use en mars 2026.

Selon CNBC, ce lancement marque le passage de Claude du chatbot à l’agent capable d’exécuter des tâches complètes sur un ordinateur (CNBC, mars 2026). Cette acquisition s’inscrit dans une série de rachats stratégiques, après celui de Bun en décembre 2025 pour renforcer Claude Code. Pour comprendre comment Anthropic orchestre plusieurs agents en parallèle, consultez notre guide des agents gérés Claude.

Computer Use dans Claude Code

Computer Use n’est pas réservé à Cowork. Les développeurs peuvent également l’exploiter dans Claude Code, l’outil de codage agentique d’Anthropic qui fonctionne directement dans le terminal.

Dans Claude Code, Computer Use permet de :

• Tester des interfaces en interagissant avec des simulateurs d’applications
• Vérifier des workflows en naviguant dans un navigateur après un déploiement
• Debugger visuellement en observant le comportement d’une application web en temps réel

Pour les développeurs qui utilisent déjà Claude Code, Computer Use ajoute l’interaction visuelle à un outil qui fonctionne normalement en ligne de commande. Notre guide complet de Claude Code détaille l’installation et les meilleures pratiques.

Utilisation via l’API

Les développeurs peuvent aussi intégrer Computer Use dans leurs propres applications via l’API Anthropic. L’outil est en bêta et nécessite un header spécifique : computer-use-2025-11-24 pour Opus 4.6, Sonnet 4.6 et Opus 4.5, ou computer-use-2025-01-24 pour les modèles antérieurs (documentation API Anthropic). L’implémentation repose sur une boucle agentique :

1. Vous envoyez une requête avec l’outil computer et un prompt utilisateur.
2. Claude analyse la situation et demande une action (clic, saisie, capture d’écran).
3. Votre application exécute l’action et renvoie le résultat.
4. Claude poursuit jusqu’à ce que la tâche soit terminée.

Anthropic fournit une implémentation de référence sur GitHub avec un conteneur Docker, une interface web et une boucle agentique prête à l’emploi.

Limites actuelles de Computer Use

Computer Use reste une fonctionnalité en bêta avec des contraintes réelles. J’ai constaté ces limites lors de mes propres tests.

Précision et fiabilité

Claude peut se tromper dans le positionnement de ses clics, en particulier sur des interfaces en 3D ou des menus déroulants. Lors du test de PCWorld, Claude a échoué à déplacer des pièces dans l’application Échecs du Mac, l’interface en perspective 3D rendant les coordonnées trop imprécises (PCWorld, mars 2026).

Consommation de tokens

Chaque action génère des captures d’écran qui consomment des tokens d’image. Le même test de PCWorld a épuisé un quota Pro de cinq heures en à peine trente minutes, en raison des tentatives répétées et des captures d’écran constantes (PCWorld, mars 2026). Pour des tâches complexes, les coûts en tokens peuvent augmenter rapidement. L’outil ajoute 735 tokens par définition et 466 à 499 tokens au prompt système (documentation API Anthropic).

Latence

Le contrôle d’écran est plus lent qu’une interaction humaine directe. Le cycle capture-analyse-action introduit une latence à chaque étape. Anthropic recommande de privilégier Computer Use pour des tâches en arrière-plan où la vitesse n’est pas critique : collecte d’informations, tests automatisés, traitement par lots.

Compatibilité limitée

Sécurité et confidentialité : les précautions indispensables

Donner à une IA le contrôle de votre écran pose des risques concrets. Voici ce qu’il faut savoir avant d’activer la fonctionnalité.

Ce qu’Anthropic a mis en place

Anthropic a mis en place quatre protections :

• Modèle de permissions par application : Claude demande votre autorisation avant d’accéder à chaque nouvelle application.
• Classifieurs anti-injection : un système analyse les activations du modèle pour détecter les tentatives d’injection de prompt via des pages web ou des images.
• Liste de blocage : les applications financières, de trading et de cryptomonnaies sont bloquées par défaut.
• Zero Data Retention (ZDR) : les captures d’écran et actions ne sont pas conservées par Anthropic après le retour de la réponse API. Tout reste dans votre environnement.

Ce que vous devez faire

Ces protections ne sont pas absolues. Anthropic recommande explicitement :

1. Fermez les applications sensibles avant de lancer une session Computer Use (relevés bancaires, messageries privées, dossiers médicaux).
2. Surveillez activement les actions de Claude, en particulier pour les premières utilisations.
3. Ne fournissez pas d’identifiants de connexion sensibles directement dans vos prompts.
4. Validez manuellement toute action ayant des conséquences irréversibles (suppression de fichiers, envoi de messages, acceptation de conditions).

Le risque principal reste l’exposition de données visibles à l’écran. Claude prend des captures d’écran pour naviguer, ce qui signifie qu’il peut voir tout ce qui est affiché : PDF ouverts, onglets de navigateur, fenêtres de chat. Anthropic ne conserve pas ces images, mais le risque d’exposition existe pendant la session.

Si vous débutez avec Claude et souhaitez d’abord comprendre les bases, notre guide pour débutants couvre l’ensemble des fonctionnalités et tarifs disponibles.

À qui s’adresse Computer Use

Computer Use n’est pas destiné à remplacer toutes vos interactions avec votre Mac. Son utilité est maximale dans des cas précis :

• Les professionnels qui jonglent entre de nombreuses applications sans connecteurs dédiés. Claude peut naviguer dans n’importe quel logiciel installé.
• Les travailleurs à distance qui veulent déléguer des tâches depuis leur téléphone via Dispatch pendant leurs déplacements.
• Les développeurs qui souhaitent automatiser des tests d’interface ou des vérifications visuelles dans Claude Code.
• Les utilisateurs avancés de Claude qui ont déjà exploité les connecteurs et cherchent à aller plus loin dans l’automatisation.

Pour des tâches simples comme envoyer un email ou consulter un agenda, les connecteurs intégrés restent plus rapides et plus fiables. Computer Use prend tout son sens lorsque ces connecteurs ne couvrent pas votre besoin. Si vous hésitez entre Claude et d’autres solutions pour vos besoins d’automatisation, notre comparatif Claude vs ChatGPT détaille les forces de chaque plateforme. Et pour suivre l’évolution des modèles qui alimentent Computer Use, notre article sur Claude Mythos couvre le dernier modèle frontier d’Anthropic.

Score OSWorld : de 14,9 % (oct. 2024) à 72,5 % (Sonnet 4.6, mars 2026), puis 88,3 % avec Sonnet 5, dépassant le seuil humain de 72,4 %.

Ce qu’il faut retenir

Avec Computer Use, Claude passe d’un assistant conversationnel à un agent capable d’agir sur votre bureau. Le bond de 14,9 % à 88,3 % sur OSWorld en moins de deux ans, porté par l’acquisition de Vercept et les avancées de Sonnet 5, montre la rapidité des progrès.

Depuis le lancement en mars 2026, la compatibilité s’est élargie : Windows est désormais supporté, Cowork est en disponibilité générale, et les plans Team et Enterprise y ont accès. Les limites sur la précision et la consommation de tokens restent réelles, mais l’écart avec la performance humaine se réduit à chaque itération.

Mon conseil : activez la fonctionnalité, testez-la sur une tâche simple (créer une note, compiler un document), et évaluez par vous-même si elle répond à vos besoins. Avec l’expertise Vercept intégrée et des scores qui dépassent le seuil humain, la prochaine étape sera probablement la fiabilité sur les interfaces complexes - le point faible que j’ai le plus observé lors de mes tests.