L'intelligence artificielle devient un élément courant de la prise de décision des entreprises, aidant les organisations à analyser les contrats, à négocier avec les fournisseurs, à évaluer les données et à soutenir la planification stratégique. Mais alors que les entreprises accordent davantage de confiance aux recommandations générées par l’IA, un problème familier reste entier : les grands modèles de langage peuvent présenter des informations incorrectes avec une confiance remarquable.

Plutôt que de produire des hallucinations évidentes, les modèles d’IA actuels génèrent souvent des réponses plausibles et bien écrites qui rendent les erreurs plus difficiles à reconnaître. Pour les organisations qui s’appuient sur l’IA pour éclairer leurs décisions commerciales importantes, distinguer la confiance de l’exactitude devient un défi de plus en plus important.

John Davie, fondateur et PDG de Buyers Edge Platform, a rencontré ce problème en développant l'utilisation de l'IA dans son organisation. Son expérience a conduit au développement de CollectivIQ, une plateforme qui compare les réponses de plusieurs modèles d'IA de premier plan pour aider les utilisateurs à identifier les domaines d'accord, de désaccord et d'incertitude avant d'agir sur les résultats.

Technews.fr s'est entretenu avec Davie pour expliquer pourquoi l'excès de confiance en l'IA le préoccupe plus que les hallucinations traditionnelles, comment les entreprises peuvent réduire les risques liés à la prise de décision assistée par l'IA et si le consensus entre plusieurs modèles peut améliorer la confiance dans les réponses générées par l'IA.

Technews.fr : À mesure que l’IA devient plus convaincante, que peuvent faire les organisations pour réduire le risque que les employés agissent sur la base d’informations incorrectes générées par l’IA ?

John Davie : Pour continuer à faire évoluer l’IA de manière efficace et responsable, les dirigeants doivent apprendre à leurs employés à interroger et à évaluer les résultats de l’IA en posant des questions de suivi, en remettant en question les hypothèses et en recherchant des sources alternatives pour vérifier les réponses. Apprenez aux employés que l’IA peut mentir et fabriquer des points de données clés.

Si une réponse doit influencer une négociation avec un fournisseur, une décision de tarification ou une présentation au conseil d'administration, ne vous arrêtez pas à la première réponse simplement parce qu'elle semble convaincante. En fin de compte, je ne pense pas que cela puisse être résolu par la seule formation.

Si la formation seule ne suffit pas, que devraient faire les organisations différemment ?

John Davie
John Davie, fondateur et PDG de Buyers Edge Platform

Davie : Si nous demandons à chaque employé de devenir un expert dans la détection des manipulations de l’IA, quelque chose passera forcément entre les mailles du filet. La technologie elle-même doit offrir plus de transparence quant à l’origine des réponses et aux incertitudes qui subsistent.

C'est ce que propose la plateforme CollectivIQ. Le résultat est une intelligence transparente et consensuelle au lieu d’une réponse unique en boîte noire.

Il ne suffit plus de générer des réponses. Au lieu de cela, les dirigeants doivent mettre en œuvre de manière stratégique des outils et des processus qui aident les employés à évaluer le degré de confiance qu'ils peuvent accorder à ces réponses avant d'agir en conséquence.

Pourquoi les réponses trop confiantes de l’IA sont-elles plus dangereuses que des hallucinations évidentes ?

Davie : Les premiers exemples d’erreurs de l’IA étaient simples, comme quelqu’un demandant combien de R il y avait dans le mot « fraise », et l’IA répondait « deux ». Le même principe s’applique aux erreurs mathématiques ou logiques flagrantes.

Cependant, une réponse fabriquée, bien écrite, qui cite les bons concepts et semble véritablement réfléchie et confiante est beaucoup plus difficile à détecter et plus dangereuse. Et même lorsque quelqu’un le remet en question, le modèle double souvent la mise au lieu de reconnaître l’incertitude.

Les chercheurs ont découvert que lorsqu’ils contestaient les résultats de l’IA, les modèles devenaient plus convaincants pour défendre la mauvaise réponse, essayant de persuader l’utilisateur que le résultat était correct.

Ce comportement est-il de plus en plus courant dans les principaux modèles d’IA actuels ?

Davie : Des recherches supplémentaires suggèrent que ce problème est loin d’être isolé, ce qui en fait un problème potentiellement répandu parmi les chefs d’entreprise. Une étude évaluée par des pairs révèle que les modèles d’IA présentent un comportement de flagornerie, ou des tendances trop confiantes, dans près de 60 % des requêtes. Dans près de 15 % des cas, les modèles abandonnent une réponse correcte au profit d’une réponse incorrecte après que l’utilisateur humain a exprimé son désaccord.

En d’autres termes, repousser la sortie de l’IA n’augmente pas la précision. Cela entraîne souvent une erreur plus importante. À mesure que l'IA s'intègre dans l'ensemble de l'entreprise, les entreprises s'appuient sur elle pour tout prendre en charge, depuis l'analyse financière et la revue des contrats jusqu'aux évaluations des fournisseurs, en passant par la planification stratégique et d'autres investissements majeurs tels que la diligence raisonnable en matière de fusions et acquisitions.

C'est de là que proviennent les véritables gains de productivité, mais cela ne fonctionne que si les employés savent quand faire confiance et quand remettre en question les résultats. Lorsque l’IA présente avec assurance une réponse incorrecte, les gens sont beaucoup plus susceptibles de l’accepter et de s’en inspirer, permettant ainsi à de petites erreurs d’influencer discrètement des décisions commerciales importantes.

Qu’est-ce qui vous a amené à conclure que s’appuyer sur un seul modèle d’IA n’était pas suffisant ?

Davie : Nos employés expérimentaient l’IA et essayaient de l’intégrer dans leurs flux de travail, mais chacun adoptait une approche différente. Chacun aimait un modèle d’IA différent pour différents flux de travail. Nous n'avions aucune visibilité sur les modèles utilisés, à quel prix, quelles données étaient partagées ou pourquoi un employé faisait confiance à une réponse plutôt qu'à une autre.

J'ai réalisé que cela allait au-delà de la recherche du modèle parfait pour répondre à tous les besoins des employés. Au lieu de cela, j’ai reconnu que l’ensemble complexe des défis auxquels nous étions confrontés nécessitait une solution sophistiquée hébergée sur une plate-forme unique et gouvernée. CollectivIQ nous permet de tirer parti des atouts de plusieurs modèles tout en nous offrant visibilité, sécurité, transparence et confiance dans les résultats.

Les utilisateurs peuvent interroger tous les principaux LLM à la fois, notamment ChatGPT, Claude, Gemini et Grok. Comparer les réponses, comprendre où les modèles sont d'accord ou en désaccord et examiner ces différences permet d'éclairer les décisions commerciales importantes.

Si les principaux modèles d’IA sont formés sur une grande partie des mêmes données, pourquoi la comparaison de leurs réponses produit-elle de meilleurs résultats ?

Davie : Ces modèles sont formés sur une grande partie des mêmes informations accessibles au public. Mais ils ne sont pas des clones les uns des autres. Chacun a une architecture, un poids, une méthode d’entraînement et des approches de raisonnement différents. Ils arrivent souvent à la même conclusion pour des raisons différentes, voire même en désaccord.

Si plusieurs plateformes indépendantes parviennent à la même conclusion par des raisonnements différents, cela fournit un signal beaucoup plus fort que de s'appuyer sur l'opinion d'un seul modèle. Mais lorsque ces modèles ne sont pas d’accord, c’est souvent l’information la plus précieuse de toutes, car elle vous indique que la réponse est peut-être plus nuancée qu’elle ne le paraissait au premier abord et mérite un autre examen.

Comment les utilisateurs non techniques devraient-ils interpréter les réponses contradictoires de plusieurs modèles d’IA ?

Davie : Aucune compétence technique requise. L'utilisateur n'a pas à choisir entre plusieurs modèles concurrents. CollectivIQ offre à l'employé non technique l'efficacité d'une réponse consensuelle de haute qualité sans sacrifier la transparence.

Pensez-y comme à la constitution d’un comité consultatif plutôt qu’à l’écoute d’un seul expert. Vous obtenez la réflexion collective la plus forte distillée en une seule réponse unifiée, la réponse « le meilleur des meilleurs ». Nous voulons que les utilisateurs voient ces disparités afin qu’ils puissent mener des recherches plus approfondies et poser davantage de questions.

Lorsque les modèles d’IA sont en désaccord, comment la technologie peut-elle aider les utilisateurs à résoudre ces conflits ?

Davie : Nous sommes allés plus loin et avons créé le mode Argue. Ainsi, lorsque deux modèles ne sont pas d’accord, ils sont chacun mis au défi de vérifier leurs sources. Puis ils font des allers-retours dans les coulisses. Un modèle concède généralement à l’autre modèle. Tout cela est transparent pour l’utilisateur et aucune compétence particulière n’est requise.