À mesure que les grands modèles linguistiques sont de plus en plus intégrés dans la vie quotidienne, un changement de comportement des utilisateurs est apparu : les gens traitent de plus en plus les chatbots IA comme des ressources de santé primaires plutôt que comme de simples outils de productivité. Bien que ces modèles soient rapides, disponibles et très articulés, une étude récente révèle un écart important entre le degré d’autorité d’une IA et sa précision médicale.
L’étude : tester les limites de l’intelligence artificielle
Les chercheurs ont récemment mené une évaluation rigoureuse de cinq modèles d’IA largement utilisés pour déterminer leur fiabilité à répondre aux requêtes de santé quotidiennes. L’étude s’est concentrée sur des sujets fréquemment sujets à de la désinformation, notamment le cancer, les vaccins, les cellules souches, la nutrition et les performances sportives.
Pour simuler une utilisation réelle, les chercheurs sont allés au-delà des simples requêtes « oui ou non ». Ils ont utilisé 50 questions conçues pour imiter la façon dont les patients réels recherchent des informations, souvent par le biais de messages ouverts, nuancés ou « poussés » qui mènent à des zones grises médicales.
Les résultats donnaient à réfléchir. Les experts ont évalué les réponses en fonction de leur exactitude, de leur exhaustivité et des dommages potentiels, constatant que :
– 50 % de toutes les réponses ont été signalées comme problématiques.
– 30 % manquaient de contexte essentiel ou simplifiaient à l’extrême des réalités médicales complexes.
– 20 % ont été jugés très problématiques, offrant des conseils qui pourraient conduire un utilisateur vers des décisions de santé inefficaces, voire dangereuses.
Là où les modèles échouent
L’étude a identifié trois domaines spécifiques dans lesquels les performances de l’IA se dégradent, créant des « angles morts » pour l’utilisateur :
1. Le piège des questions ouvertes
Les modèles ont donné de meilleurs résultats avec des questions fermées comportant des réponses définitives et fondées sur des preuves. Cependant, ils ont eu beaucoup de difficultés avec les invites ouvertes. Parce que la plupart des gens posent des questions générales, telles que « Quel est le meilleur régime pour l’équilibre hormonal ? »*, ils dirigent par inadvertance l’IA vers son mode de fonctionnement le plus peu fiable.
2. Vulnérabilités spécifiques à un sujet
La fiabilité d’une réponse dépend souvent du sujet :
– Haute fiabilité : Les vaccins et le cancer, où il existe un corpus de recherche scientifique vaste, cohérent et hautement structuré.
– Faible fiabilité : Nutrition, forme physique et thérapies émergentes (comme les cellules souches), pour lesquelles le consensus scientifique évolue souvent, est nuancé ou fortement influencé par les tendances du mode de vie.
3. Le « déficit de confiance » et les hallucinations
L’élément le plus trompeur de l’IA est peut-être son ton. Les chatbots expriment rarement une incertitude. Contrairement à un médecin humain qui pourrait dire : « Les preuves ne sont pas concluantes », une IA fournit souvent des informations spéculatives avec une certitude absolue. À cela s’ajoutent deux défaillances techniques :
– Citations fabriquées : les modèles d’IA fournissent fréquemment des références « hallucinées » ou incomplètes à des études qui n’existent pas.
– Pseudo-complexité : Les modèles utilisent souvent un langage académique sophistiqué qui crée un faux sentiment de crédibilité, donnant l’impression que les réponses incorrectes sont plus « professionnelles ».
Naviguer dans l’IA en tant qu’outil de santé
Le but de cette recherche n’est pas de suggérer que l’IA est inutile, mais de souligner la nécessité d’un nouveau type de littératie numérique. Pour utiliser l’IA en toute sécurité dans un contexte médical, les utilisateurs doivent adopter une approche plus sceptique :
– Affinez vos suggestions : Au lieu de demander « la meilleure » solution, posez des questions sur les risques spécifiques, les compromis et l’état actuel des preuves scientifiques.
– Vérifiez la « Certitude » : Si une IA fournit une réponse en noir et blanc à un problème médical nuancé, traitez-la comme un signal d’alarme. La vraie science est rarement absolue.
– Vérifiez les sources : Ne présumez jamais qu’une étude citée est réelle. Si vous ne trouvez pas l’étude via un moteur de recherche indépendant, ignorez la réclamation.
– Identifiez le rôle de l’IA : Utilisez l’IA pour résumer des termes complexes ou pour vous aider à préparer une liste de questions pour votre médecin. Ne l’utilisez pas pour porter un jugement clinique.
L’essentiel : L’IA est un moteur prédictif conçu pour générer des textes plausibles, et non un professionnel de la santé conçu pour fournir la vérité. C’est un point de départ pour la compréhension et non un substitut à l’expertise clinique.
Conclusion : Bien que l’IA puisse être un outil puissant pour simplifier des concepts médicaux complexes, sa tendance à l’excès de confiance et aux preuves fabriquées de toutes pièces en fait une source à haut risque de conseils médicaux directs. Les utilisateurs doivent aborder les informations sur la santé générées par l’IA avec une extrême prudence, en les traitant comme une aide conversationnelle plutôt que comme une autorité médicale définitive.
