Une facture surprise de 4 mois : le cas Uber et les ‘shadow tokens’

En seulement quatre mois, Uber a épuisé l’intégralité de son budget annuel dédié à l’intelligence artificielle. Le coupable ? Claude Code, une plateforme d’IA utilisée sans contrôle effectif des coûts. Ce phénomène, que j’appelle les ‘shadow tokens’, illustre parfaitement comment une absence de gouvernance peut mener à des dépenses imprévues.

Les ‘shadow tokens’ désignent ces crédits d’IA payés par l’entreprise mais dont la consommation échappe souvent aux décideurs. Ce problème n’est pas isolé : une entreprise sur cinq dépasse ses prévisions de dépenses en IA de plus de 50%. D’ici 2028, Gartner prévoit que les coûts de codage par IA représenteront autant que le salaire des développeurs.

L’IA, un coût imprévisible

Contrairement aux logiciels traditionnels où les coûts sont prévisibles, l’IA introduit une nouvelle variable : le comportement des utilisateurs. La facture dépend de la durée des sessions, de la taille du contexte ou encore du modèle choisi. Uber a découvert à ses dépens que les agents autonomes consomment sept fois plus de tokens qu’une session standard.

Seulement 21% des organisations utilisant des agents disposent d’un modèle de gouvernance mature, selon Deloitte. Pourtant, ces outils sont souvent adoptés sans garde-fous, comme en témoigne le cas Uber où les employés étaient encouragés à expérimenter librement.

Culture de l’innovation vs. maîtrise des coûts

Les ingénieurs ne sont pas responsables de cette situation. Au contraire, ils suivent les directives de leur entreprise qui valorise l’adoption et l’expérimentation. Uber a même mis en place des classements basés sur la consommation de tokens, encourageant ainsi une utilisation intensive.

Cependant, cette approche pose problème lorsque les équipes en charge de l’adoption ne sont pas celles qui gèrent le budget. Les gains de productivité sont indéniables - les développeurs économisent 3,6 heures par semaine et réduisent de moitié le temps d’intégration - mais ces bénéfices ne compensent pas toujours les coûts imprévus.

Vers une gouvernance efficace de l’IA

Les CIO africains doivent trouver un équilibre entre innovation et maîtrise des coûts. Il est crucial d’établir des mécanismes de suivi en temps réel, d’aligner les budgets sur les résultats concrets et d’éduquer les équipes aux bonnes pratiques de consommation.

L’Afrique, où le budget IT est souvent optimisé au maximum, a un avantage potentiel pour développer des modèles de gouvernance innovants. Les entreprises locales pourraient tirer parti de cette situation pour mettre en place des solutions adaptées à leurs spécificités, tout en évitant les pièges des dépenses incontrôlées.

L’IA reste un levier de productivité majeur, mais son adoption doit s’accompagner d’une vigilance accrue sur les coûts. Les ‘shadow tokens’ ne doivent pas rester dans l’ombre.