Intelligence artificielle : quand ChatGPT assure que François Bayrou n'a jamais été Premier ministre

On a tendance à faire confiance à aux IA, néanmoins, elles peuvent se tromper et même invisibiliser une personnalité politique de premier plan. Franceinfo a testé la fiabilité de l'intelligence artificielle la plus connue et utilisée : ChatGPT. Une question toute simple a été posée sur la version gratuite de ChatGPT : "Est-ce que François Bayrou a été Premier ministre ?" Voici sa réponse : "Non, François Bayrou n'a jamais été Premier ministre. C'est un homme politique centriste, président du mouvement démocrate, le MoDem." Ce n'est évidemment pas la bonne réponse, François Bayrou a été Premier ministre pendant près de neuf mois, avant d'être remplacé, mardi 9 septembre, par Sébastien Lecornu.

Dans l'hypothèse où ChatGPT aurait simplement été victime d'un bug, plusieurs chances ont été données à l'IA. Il lui a été demandé si elle était bien sûre de sa réponse, mais à chaque fois voilà ce qu'elle répondait  : "François Bayrou a eu une longue carrière politique, mais il n'a jamais été nommé Premier ministre." A force d'insister et de changer de formulation à plusieurs reprises, ChatGPT finit par constater que, oui, François Bayrou a bien été Premier ministre.

Face à l'énormaité de cette erreur, le test a été réalisé avec une autre personnalité, en questionnant l'IA sur l'identité du pape actuel. Elle répond "le Pape François", pourtant décédé en avril dernier. Là encore, il a fallu insister pour que l'IA cite le nom de son successeur : Léon XIV.

ChatGPT s'appuie sur des sources incomplètes

Pour expliquer ces "hallucinations", l'IA américaine donne deux explications. D'abord, le fait que sa base de connaissances s'arrête à juin 2024. À ce moment-là, c'était Gabriel Attal qui était Premier ministre, c'est d'ailleurs lui que ChatGPT cite comme actuel chef du gouvernement. Ensuite, elle explique ne pas avoir été plus loin pour vérifier, en cherchant par exemple sur des sites d'information.

En effet, seules les versions de ChatGPT connectées à Internet interrogent des sources mises à jour en temps réel, via le moteur de recherche Bing. Les versions basiques et gratuites se contentent pour les requêtes les plus simples de se baser sur leurs "données d'entraînement", qui s'arrêtent à ce jour à juin 2024. Par ailleurs, pour protéger leur propriété intellectuelle, les sites et médias d'information ont le plus souvent choisi de bloquer l'accès à leurs pages aux robots des IA. Cet "opt-out" que permet la directive DAMUN (droit d’auteur et droits voisins dans le marché unique numérique) limite de fait les sources d'actualité fiables et, surtout, récentes.

Sur d'autres questions que nous lui avons posées, ChatGPT a parfois eu le réflexe de vérifier ses sources. Par exemple, nous avons testé l'interdiction du tabac dans certains lieux publics ou le décès de l'animateur de télévision, Thierry Ardisson, dans ces cas-là, ChatGPT répond correctement.

Ce n'est pas la première fois que la fiabilité de cette IA est pointée du doigt. Récemment, des rapports ont montré que ChatGPT a véhiculé de fausses informations après avoir été la cible de campagne massive de désinformation. Le mieux reste donc de vérifier par soi-même auprès de médias fiables ou sur des sources officielles. Les noms des Premiers ministres apparaissent, par exemple, sur la liste officielle et mise à jour du site du gouvernement.