La plupart des programmes d’IA en analytique rendent compte de l’activité : comptes créés, questions posées, invites rédigées. L’activité montre que les gens ont essayé les outils. Elle ne montre pas si les réponses arrivent plus vite, si le dossier mensuel coûte moins cher à produire ou si les décisions se sont améliorées. Les dirigeants à qui l’on demande de financer la prochaine phase ont besoin de ces réponses, dans les termes simples qu’ils utilisent pour tout autre investissement.

Cinq mesures couvrent l’essentiel de la valeur. Chacune est simple à définir, et chacune exige un point de référence établi avant la mise en service de l’assistant, car sans le « avant », l’« après » n’est qu’une opinion. Ensemble, elles montrent aussi quoi corriger : un assistant exact mais peu utilisé ne demande pas le même travail qu’un assistant populaire mais souvent dans l’erreur.

Le délai de réponse

Mesurez le temps écoulé entre une question et une réponse à laquelle la personne fait assez confiance pour agir. Avant le lancement, ce parcours passe généralement par une demande à un analyste, une file d’attente, quelques messages de clarification et un chiffrier. Ensuite, les questions courantes devraient obtenir une réponse en quelques minutes, et les plus difficiles devraient toujours aboutir chez un analyste, qui part alors avec une longueur d’avance.

Suivez la médiane plutôt que la moyenne, et incluez les questions qui finissent encore chez un analyste. Un assistant rapide qui renvoie beaucoup de questions dans la file n’a pas réduit le délai de réponse. Il a ajouté une étape. La méthode la plus simple consiste à noter deux moments pour un échantillon de demandes : l’arrivée de la question et la confirmation de la réponse par la personne qui l’a posée.

Pièce : délai médian de réponse, du point de référence établi avant le lancement aux semaines qui suivent.

Les heures de production de rapports éliminées

Une bonne partie du mois d’une équipe d’analytique sert à produire les mêmes dossiers : actualiser des extraits, refaire des diapositives, rédiger des commentaires et rapprocher une version d’une autre. L’IA peut rédiger les commentaires et répondre aux questions de suivi qui exigeaient autrefois un nouveau rapport. La valeur réside dans les heures qui disparaissent vraiment.

Comptez les heures éliminées, pas les heures économisées sur papier. Un dossier qui est encore produit au complet, avec un peu d’aide de l’IA en parallèle, n’a rien éliminé. La mesure honnête recense les dossiers retirés, les étapes qui ne sont plus faites et les heures réaffectées à l’analyse. Interrogez les personnes qui montent les dossiers, pas seulement leurs gestionnaires; elles savent quelles étapes ont disparu et lesquelles se sont discrètement déplacées ailleurs.

L’adoption par rôle

Un total d’utilisation unique cache l’essentiel. La direction peut poser quelques questions à forte valeur par semaine tandis que les analystes financiers en posent bien davantage, et un seul chiffre en dit peu sur l’un ou l’autre groupe. Mesurez l’utilisation active hebdomadaire par rôle, et combien de personnes reviennent après leur premier mois. L’utilisation répétée compte plus que la première : un rôle qui revient chaque semaine a trouvé de la valeur, alors qu’un rôle qui essaie une fois et repart n’en a pas trouvé.

Une faible adoption dans un rôle est généralement un signal de conception plutôt qu’un problème de formation. Elle signifie que l’assistant ne peut pas répondre aux questions que ce rôle pose, faute de données, de mesures ou de vocabulaire. Les questions que les gens ont essayées puis abandonnées montrent quoi ajouter ensuite. Comblez d’abord ces lacunes, puis mesurez de nouveau.

L’exactitude par rapport aux chiffres certifiés

La valeur ne compte que si les réponses sont justes. Tenez un ensemble de vraies questions d’affaires avec leurs réponses certifiées, convenues avec le responsable des finances ou des données, et exécutez-le après chaque modification des données, du modèle sémantique ou des instructions de l’assistant. Rendez compte de la part de bonnes réponses, et fixez un seuil en dessous duquel une nouvelle version n’est pas mise en service.

Mesurez l’exactitude par rapport aux mêmes chiffres certifiés que ceux du dossier mensuel. Si l’assistant et le dossier ne concordent pas, la direction ne fera confiance ni à l’un ni à l’autre, et toutes les autres mesures de cette liste cesseront de compter. Lorsqu’une question échoue, notez pourquoi : une mesure manquante, un nom ambigu ou une lacune dans les données. Ces causes indiquent à l’équipe de données quoi corriger en premier.

Des décisions plus rapides

C’est la mesure qui compte le plus et celle qu’on oublie le plus souvent. Choisissez quelques décisions récurrentes où la rapidité a de la valeur : réapprovisionner les stocks, approuver une exception de prix, valider une prévision, déplacer du budget entre des campagnes. Notez combien de temps chacune prend aujourd’hui, de l’arrivée du signal jusqu’à la décision, et mesurez le même cycle après le lancement. Gardez des définitions strictes, pour que le signal, la décision et la personne qui décide soient les mêmes avant et après.

C’est dans les décisions plus rapides que les heures récupérées et la meilleure exactitude se traduisent en résultats financiers. Elles font aussi le récit le plus clair pour un conseil d’administration : la même décision, de la même qualité, prise des jours plus tôt. Quelques décisions de ce genre, chronométrées honnêtement, convainquent davantage que n’importe quel graphique d’utilisation.

Établir le point de référence avant le lancement

Les semaines qui précèdent le lancement sont le seul moment où l’on peut établir un point de référence propre. Profitez-en pour :

  • échantillonner de vraies demandes adressées à l’équipe d’analytique, et noter quand chacune a été posée et quand elle a reçu une réponse;
  • consigner les heures consacrées à chaque dossier récurrent, étape par étape;
  • rédiger le jeu d’essai de questions avec leurs réponses certifiées;
  • chronométrer les décisions récurrentes retenues, du signal à la décision.

Convenez en même temps d’une cible pour chaque mesure avec le commanditaire d’affaires, afin que le succès soit défini avant que quiconque voie les résultats.

Pièce : les cinq mesures par rapport aux cibles convenues avant le lancement.

Rendre compte de la valeur sur une page

Réunissez les cinq mesures sur une page, chaque mois, à côté de leur point de référence et de leur cible, avec une brève note sur ce qui a changé. Traitez-la ensuite comme n’importe quelle revue d’investissement : étendez les cas d’usage qui font bouger les mesures, corrigez ceux qui s’en approchent et arrêtez ceux qui n’y arriveront pas. Cette page est aussi le meilleur argument pour la phase suivante, parce qu’elle montre la valeur en chiffres auxquels l’organisation fait déjà confiance. C’est l’une des premières choses que nous mettons en place dans nos mandats de stratégie données et IA.