La découverte par l’IA en finance : mesurer la présence dans les sélections

La recherche assistée par l’IA transforme une question d’investissement large en une synthèse, une sélection de produits et un ensemble de sources à l’appui. Pour une société de gestion, le problème de mesure immédiat n’est pas de savoir si un modèle « apprécie » une stratégie. Il est de savoir si cette stratégie apparaît sur les questions pertinentes et si la réponse décrit correctement son objectif, son processus, sa liquidité et ses risques.

Ce sont là des résultats observables. Ils peuvent être examinés sans traiter une réponse générée comme un conseil en investissement ni supposer que la présence a déclenché une allocation.

Distinguer visibilité et adéquation

Un produit peut être visible et pourtant inadapté à la personne ou au mandat décrits dans le prompt. Il peut aussi être absent pour une raison parfaitement défendable. La mesure doit donc tenir quatre questions séparées :

Question	Ce qu’il faut examiner
Le produit a-t-il été trouvé ?	S’il est apparu dans la réponse ou dans les citations associées à un prompt défini.
A-t-il été retenu dans la sélection ?	Si le système l’a inclus parmi les options répondant aux contraintes énoncées.
A-t-il été décrit correctement ?	Si l’objectif, le processus, les frais, la liquidité, les risques et la disponibilité correspondaient aux sources validées.
Les preuves étaient-elles appropriées ?	Quels documents réglementaires, fiches produit, rapports ou sources tierces ont étayé la description.

Un chiffre unique de part de voix écrase ces quatre résultats. Il peut récompenser une description fréquente mais inexacte, et masquer la différence entre une citation et une recommandation.

Construire les prompts à partir de vrais critères de sélection

Les questions génériques du type « Quel est le meilleur fonds ? » constituent une base de mesure faible. La recherche institutionnelle part de contraintes. Un jeu de prompts peut les refléter sans demander au modèle de prendre une décision réglementée.

Parmi les dimensions utiles figurent le véhicule et la juridiction, la liquidité, l’indice de référence, la structure de frais, la limite de risque, l’horizon d’investissement et le scénario de marché étudié. Un même besoin sous-jacent doit être testé avec des contraintes identiques d’une plateforme à l’autre, pour que les écarts entre les réponses restent interprétables.

Le versionnage compte. Si un prompt passe de « liquidité quotidienne » à « liquidité hebdomadaire », il s’agit d’un autre problème de sélection, qui ne doit pas être fondu dans la même série historique.

Rendre les sources validées faciles à vérifier

L’exactitude dépend du corpus documentaire. Les fiches produit à jour, les documents réglementaires, les notes méthodologiques et les documents d’information sur les risques doivent employer les mêmes noms, les mêmes dates et les mêmes définitions. Les documents remplacés ont besoin d’un statut clair, et les variantes régionales ne doivent pas obliger le lecteur à deviner le marché qu’elles couvrent.

L’objectif n’est pas de gommer les nuances importantes. Il est de rendre la même nuance disponible partout où le produit est décrit. Si les conditions de liquidité ou le nom de l’indice de référence diffèrent entre une fiche produit et une page marketing, la mesure doit consigner la contradiction plutôt que deviner celle qu’un assistant est censé retenir.

Analyser les erreurs au niveau de l’affirmation

Une analyse au niveau de l’affirmation est plus utile qu’une étiquette de sentiment positive ou négative. Pour chaque réponse suivie, une équipe peut vérifier :

• si le produit nommé existe bien sur le marché indiqué ;
• si la réponse lui attribue le bon objectif et le bon processus ;
• si les frais, la liquidité et les mentions de risque sont à jour ;
• si une source étaye réellement l’affirmation qui en est tirée ; et
• si un document ancien ou non officiel prend la place du document validé.

Il en ressort une liste de corrections : rectifier une page contradictoire, exposer une information manquante, retirer un document périmé ou restreindre une affirmation que les preuves ne soutiennent pas.

Garder la gouvernance en dehors du modèle

Pour un usage interne comme face aux clients, la couche de contrôle ne peut pas reposer sur l’autorégulation du modèle. Listes de sources validées, journaux des réponses, seuils de revue et validation humaine relèvent du processus qui entoure l’outil. Un texte généré ne remplace ni les contrôles d’adéquation, ni la revue conformité, ni le jugement d’investissement dont quelqu’un doit répondre.

La mesure de la visibilité IA en finance gagne donc à être traitée comme un audit de la qualité de l’information. Elle montre comment un ensemble défini de systèmes représente un produit sur un ensemble défini de questions. Elle ne montre pas que le produit est adapté, qu’un utilisateur a agi à partir de la réponse, ni qu’une meilleure visibilité a produit de la performance.