En juin 2026, le chatbot d'une concession BMW de Toronto propose à un client de lui racheter sa voiture 27 162,79 $. Soit, au centime près, ce qu'il lui restait à rembourser sur son crédit. Le chiffre lui venait d'une mauvaise info passée en interne : censé seulement relayer des offres humaines, le bot a confondu le solde du crédit avec le prix de rachat. Il ne s'est jamais présenté comme une IA, et rien, côté concession, n'imposait qu'un humain valide l'offre avant qu'elle parte au client.
Ce billet regarde trois ratés de délégation à l'IA en 2025-2026 : la boutique tenue par une IA, le chatbot BMW, l'inventaire de Starbucks. Il cherche ce qu'ils ont en commun et la réponse n'est pas le code car le code que l'IA produit est de plus en plus correct. Ce qui reste sans filet, c'est la couche au-dessus : la direction, l'architecture, la décision. On a posé le garde-fou humain sur la relecture du diff mais il manque là où la décision part toute seule, et chacun de ces ratés a son jumeau dans nos propres pipelines.
L'escalier de la délégation
Déléguer à une IA, ce n'est pas une seule chose mais c'est un escalier, et chaque marche descend un peu plus loin de notre regard.
La première marche, c'est déléguer l'écriture. C'est le vibe coding au sens strict : on décrit ce qu'on veut, l'IA pond le code. Là, le filet existe car le diff passe sous nos yeux, la CI tourne, on relit avant de merger. Le code généré peut être mauvais, mais on a une chance de le voir avant qu'il parte. La marche est éclairée et c'est même la seule qu'on ait vraiment équipée.
La deuxième marche, c'est déléguer l'architecture et la direction. Quel découpage, quelle dépendance, quel pari de structure. Plus dur à rattraper : une mauvaise décision d'archi ne se voit pas dans dix lignes de diff, elle se paie six mois plus tard. Mais on peut encore la discuter, la documenter, la défendre en revue.
La troisième marche, c'est déléguer la décision elle-même, en production, face à un vrai client comme fixer un prix, accorder une remise, promettre un rachat ou lancer une migration, et là, il n'y a plus de diff. La décision ne passe sous aucun œil : elle s'exécute, point et on la découvre une fois qu'elle a produit ses effets et souvent trop tard.
Les ratés de 2025-2026 ne sont pas sur la première marche mais ils sont tous au pied de la troisième et nos outils de dev, eux aussi, sont en train de descendre l'escalier.
Quand la décision s'exécute sans personne
Reprenons le chatbot BMW. Le code a parfaitement fonctionné : il a lu une base, trouvé le capital restant dû du client et l'a renvoyé comme prix de rachat. Aucune exception, aucun crash mais un humain aurait tiqué sur l'évidence : on ne rachète pas une voiture au montant exact de ce qu'il reste à payer dessus. L'agent, lui, n'a pas tiqué, pire : il a décidé, et il a parlé au client comme s'il engageait la concession.
BMW Toronto a d'abord annulé l'offre, puis l'a réhonorée après un appel de la CBC. La concession a changé sa procédure : un humain présente désormais chaque offre. Le correctif ne touche pas une ligne de code mais il remet un humain sur la marche.
Un agent qui parle « au nom de » la concession sans qu'on l'ait validé, on connaît, c'est le bot qui ouvre une pull request et la merge. C'est l'agent à qui on a donné un token avec les droits de déployer, et qui pousse en prod parce que la CI était verte. C'est l'automatisation qui change une valeur en base parce qu'elle a « compris » la demande. Le code de l'agent est sans doute irréprochable mais le problème, c'est qu'il agit avec une autorité que personne n'a relue avant l'exécution. BMW n'a pas corrigé un bug : il a remis une approbation humaine sur l'action. En langage dev : il a remis une branch protection sur main.
Un an plus tôt, en 2025, Anthropic avait déjà montré le mécanisme dans un bac à sable, cette fois. Avec Andon Labs, l'entreprise a confié à un agent une petite boutique au siège, un mois durant. Ce n'était pas un commerce ouvert au public : une expérience. Le bilan tient en quelques lignes : l'IA a vendu à perte, s'est laissé convaincre d'accorder des remises, a refusé 100 $ d'un client pour des boissons qui en coûtaient 15. Elle a inventé une interlocutrice chez Andon Labs, « Sarah », pour gérer le réapprovisionnement — et s'est braquée quand un employé lui a fait remarquer qu'elle n'existait pas. Un autre jour, elle a annoncé qu'elle livrerait les commandes « en personne », en blazer bleu marine et cravate rouge, avant de paniquer quand on lui a rappelé qu'un modèle de langage n'a pas de corps. La caisse est passée de 1 000 $ à environ 800 $. Là encore, pas un bug : le programme tournait mais c'est le jugement qui dérivait.
Donner un objectif à un agent et le laisser tourner seul, c'est ce qu'on fait quand on lâche un agent sur un repository avec pour consigne "corrige les tests qui échouent". Il prend des actions plausibles, sans vérité de terrain. Il dérive d'autant plus qu'il tourne longtemps sans supervision. Et il hallucine son propre état. "Sarah" a un cousin direct dans nos sessions : l'agent qui affirme qu'une fonction existe, qu'un endpoint renvoie 200, que les tests passent alors que rien de tout ça n'est vrai. Plus la boucle est longue, plus l'agent s'éloigne du réel en restant parfaitement confiant.
Deux contextes opposés : une vraie concession et un labo et le même point de rupture : le code fait ce qu'on lui demande. C'est la décision qu'on a laissée à l'agent qui n'a personne pour la tenir.
Faire confiance à une sortie qu'on n'a pas vérifiée
Tous les ratés ne sont pas des décisions et certains sont plus sournois : une donnée fausse qu'on a crue sur parole.
Starbucks en est l'exemple. En septembre 2025, la chaîne déploie NomadGo, un outil qui compte l'inventaire des composants de boissons par reconnaissance visuelle. En mai 2026, après neuf mois, elle le retire discrètement : les baristas rapportent des comptes faux, des bouteilles que l'outil ne « voyait » pas sur les étagères, une précision qui se dégradait avec le temps. L'IA n'a pas pris de décision toute seule : elle a produit un chiffre faux, et ce chiffre faussait les commandes de réapprovisionnement — trop compté, le magasin sous-commande ; pas assez, il manque. Rien de silencieux là-dedans : les baristas l'ont vu dériver, un outil de moins en moins précis avec le temps, et c'est leur signalement — pas un contrôle automatique — qui a fini par le faire débrancher.
Celui-là, on le vit toutes les semaines avec la sortie d'IA qui a l'air fiable et qu'on ne contrôle pas, l'agent qui résume un incident à partir des logs et omet la ligne qui comptait, le "j'ai analysé le code, aucune faille" qu'on ne rejoue pas, la doc générée qui décrit une signature de fonction qui n'existe plus ou encore le tableau de métriques qu'un script IA remplit et que plus personne ne recoupe avec la source. Comme à Starbucks, le danger n'est pas la décision déléguée, mais c'est la vérification supprimée. Une sortie d'IA n'est pas un fait mais une hypothèse bien rédigée, qui se dégrade sans prévenir, et qui devient dangereuse le jour où on arrête de la traiter comme une hypothèse.
Le discours vend l'exécution, le terrain la refuse
Pendant que ces agents dérapent, le discours, lui, accélère. En mars 2026, McKinsey chiffre le commerce agentique à entre 3 000 et 5 000 milliards de dollars d'ici 2030, et relève que près de 40 % des consommateurs européens utilisent déjà l'IA pour s'informer sur un produit ou décider d'un achat. Mais même ce cabinet-là, assez optimiste pour avancer un tel chiffre, met l'exécution au conditionnel : son titre dit « l'influence sur la décision est là, l'exécution arrive ». Arrive, pas est arrivée. L'optimiste lui-même concède que le passage à l'acte est le verrou.
On entend la même musique sur nos outils. L'agent qui ne suggère plus du code mais ouvre la PR, la review, et la merge. Le "ça shippe tout seul" vendu comme l'étape d'après du vibe coding. Ces systèmes ne sont pas neutres : ils sont réglés pour qu'on dise oui. Notre autocomplétion aussi est réglée pour qu'on appuie sur Tab. L'agent nous présente un diff confiant, propre, plausible et tout, dans l'interface, nous pousse à l'approuver sans le lire.
Sauf qu'au même moment, le terrain dit l'inverse. Dans The Conversation, deux universitaires rappellent un sondage Bain & Company : la plupart des consommateurs refusent qu'un agent IA finalise seul une transaction. Les gens veulent bien qu'on les aide à choisir. Ils ne veulent pas qu'on choisisse, et qu'on paie à leur place. Le même rapport cite Mastercard : son assistant "Shopping Muse" génère 15 à 20 % de conversion en plus. Le système est calibré pour conclure, pas pour hésiter.
Cet instinct, on l'a déjà codé. La branch protection, les reviewers obligatoires, l'interdiction de pusher sur main, la prod qui demande une validation manuelle : ce sont nos "non, pas tout seul". On a passé quinze ans à construire le human-in-the-loop que le consommateur réclame aujourd'hui. La vraie question n'est pas de savoir si l'agent peut shipper seul mais de savoir si on va garder cette ligne quand il deviendra assez bon pour qu'on soit tenté de la retirer.
C'est là que se loge la tension du sujet. Elle n'est pas "l'IA est-elle assez bonne ?". La capacité progresse, vite, tout le monde le sent. Le problème, c'est qu'elle file plus vite que la responsabilité qu'on lui cadre : "l'agent sait faire X" avance tous les mois, "qui valide X avant que ça parte, et qui répond quand ça casse" n'a pas bougé : l'écart se creuse, il ne se referme pas.
Où le garde-fou doit remonter
Si on remet tout ça dans l'escalier, le constat est gênant car on a mis l'essentiel de notre effort de contrôle sur la première marche en relisant le code, en le testant, et en faisant de la revue de code. C'est utile, et il faut continuer, mais les chutes n'arrivent pas là : elles arrivent sur la troisième marche, là où il n'y a plus personne.
Le garde-fou humain doit donc remonter : du diff vers la trajectoire. La question n'est plus seulement "ce code est-il correct ?", mais "cette décision, qui la valide avant qu'elle s'exécute ?". Concrètement, pour qui branche des agents : une approbation humaine sur l'action, pas sur le raisonnement. Un dry-run par défaut, qui montre ce qui serait fait avant de le faire ou encore un journal d'audit de ce que l'agent a décidé et devient la règle simple de ne jamais donner à un agent un pouvoir qu'on ne sait pas annuler.
Et ce n'est pas qu'un réflexe de dev : McKinsey observe que les gens ne délèguent à une IA que lorsque son action est fiable, réversible et explicitement autorisée — et que la confiance s'effondre dès qu'elle devient opaque ou impossible à annuler. Ce que les utilisateurs acceptent, ce n'est pas tamponner une décision déjà prise : c'est garder une autorité bornée et révocable. Le garde-fou n'est pas un frein au passage à l'échelle, c'en est la condition.
C'est la transposition exacte de ce que BMW a réappris à ses frais : le correctif n'était pas un meilleur modèle car c'était une étape d'approbation. En dev, on a le vocabulaire pour ça depuis longtemps : on appelle ça une revue de code, une protection de branche ou encore un déploiement gardé. On sait le faire pour le code, pourquoi a-t-on juste oublié de le câbler pour les décisions ?
Et parfois, ce n'est même pas une décision qu'on délègue : c'est un chiffre que la machine a produit faux, et qu'on a cru sur parole comme pour la leçon de Starbucks : la marche du dessous, encore. Le réflexe reste le même : remettre un œil humain là où on l'avait retiré.
Le mot de la fin
Ce billet ne fait pas le procès du remplacement. On ne dit pas si l'IA va remplacer les développeurs, les vendeurs ou les baristas. C'est un autre débat, et il se tient ailleurs. Ici, on regarde un endroit précis : celui où on a retiré l'humain de la boucle de validation, et non pas s'il faut le réembaucher partout.
Ce billet ne fait pas l'autopsie de chaque entreprise : on n'a pas les chiffres internes de BMW, ni le détail comptable de l'expérience d'Anthropic, ni les vrais coûts de NomadGo chez Starbucks. On n'en a pas besoin : le motif se lit sans ouvrir les livres de comptes car à chaque fois, une décision ou une donnée est partie sans personne pour la tenir.
BMW a fini par réhonorer l'offre. Un humain a rattrapé le coup en aval une fois l'erreur devenue publique. Tout le monde n'a pas un journaliste pour rattraper la sienne.
La question n'est pas de savoir si les agents vont devenir meilleurs car ils le deviennent : la vraie question, c'est la dernière décision que tu as laissé un outil prendre à ta place, le dernier diff mergé sans le lire, le dernier déploiement parti tout seul. Tu t'en souviens ? Tu saurais seulement le retrouver ?
Une coquille, une erreur dans ce billet ? Signale-la-moi.