Une IA trop serviable peut devenir un problème

On demande :

« Prépare-moi le résumé de ce dossier. »

L’IA produit le résumé.

Puis elle propose une réponse.

Classe le client.

Suggère un prix.

Prépare un plan d’action.

Et tant qu’à faire, elle peut probablement envoyer le mail.

C’est séduisant.

Un outil qui en fait toujours un peu plus donne facilement l’impression d’être plus intelligent.

Au travail, je ne suis pas certain que ce soit toujours une qualité.

Faire davantage n’est pas toujours aider davantage

Certaines tâches possèdent une frontière très claire.

On voulait un résumé.

Pas une décision.

On voulait trois options.

Pas le choix final.

On voulait détecter un écart.

Pas modifier automatiquement le fichier.

Quand l’outil dépasse ce périmètre, il peut produire une action techniquement pertinente mais organisationnellement déplacée.

Une voiture ne décide pas seule de changer la stratégie de course

Même si elle possède énormément de données.

Même si certains systèmes peuvent recommander une action.

Le rôle de chaque acteur reste défini.

Cette séparation évite qu’une bonne initiative locale crée un mauvais résultat global.

Je trouve cette image assez juste pour l’IA.

Une capacité n’est pas automatiquement une autorisation.

La portée d’une mission devrait être explicite

Pour une automatisation ou un agent, on peut préciser :

ce qu’il doit faire ;

ce qu’il peut proposer ;

ce qu’il doit laisser à quelqu’un d’autre.

Cette troisième catégorie est importante.

Parce qu’elle empêche le fameux :

« puisque je peux, autant le faire ».

Les fonctions qui apparaissent petit à petit changent le système

Au départ, l’outil résume.

Puis on ajoute une extraction.

Puis une suggestion.

Puis un envoi.

Six mois plus tard, le petit assistant est devenu une pièce centrale du processus.

Sans qu’aucune décision explicite n’ait vraiment été prise.

Cette croissance progressive peut être parfaitement justifiée.

Mais elle mérite d’être vue.

Chaque nouvelle action devrait poser deux questions

Premièrement :

« Est-ce réellement utile ? »

Deuxièmement :

« Qu’est-ce que cette nouvelle capacité permet désormais de faire de travers ? »

La deuxième question n’est pas pessimiste.

Elle oblige simplement à regarder le nouveau périmètre.

Lire un fichier et supprimer un fichier ne demandent évidemment pas le même niveau de confiance.

Un bon assistant respecte aussi les limites de sa mission

Il ne cherche pas systématiquement à impressionner.

Il fait correctement ce qu’on attend de lui.

Il propose lorsqu’une initiative semble utile.

Et il s’arrête lorsque la décision appartient ailleurs.

Ce comportement paraît moins magique.

Il ressemble beaucoup plus à quelque chose que j’aurais envie de laisser travailler dans une vraie organisation.

Dans une course d’endurance, gagner ne consiste pas à accélérer chaque fois que la voiture en est capable.

Il faut savoir pourquoi on accélère.

Pour l’IA aussi.