- Les IA génératives fournissent des réponses médicales exactes dans environ 76 % des cas.
- Leur fiabilité varie fortement selon les spécialités médicales.
- Les chercheurs estiment qu'elles sont aujourd'hui plus utiles aux médecins qu'aux patients.
De plus en plus de personnes interrogent Claude, Mistral, ChatGPT ou d'autres intelligences artificielles (IA) avant de consulter un médecin. Mais peut-on réellement faire confiance à ces agents conversationnels lorsqu'il s'agit de sa santé ? Aux Etats-Unis, une étude menée par des chercheurs de l'Université Penn State révèle que les réponses fournies par les chatbots d'IA ne sont exactes que dans trois cas sur quatre. Un score convenable mais qui soulève des inquiétudes sur les risques d'erreurs médicales.
Des IA plus ou moins fiables selon les spécialités de médecine
Pour arriver à ces résultats, qui seront présentés lors d’une conférence fin juin, les chercheurs ont étudié comment les internautes utilisent concrètement les grands modèles de langage (LLM), comme ChatGPT ou Gemini, pour obtenir des conseils médicaux. "Nous voulions comprendre si les personnes utilisent les LLM comme un vérificateur de symptômes, un peu comme elles utilisaient Google auparavant, et dans quelle mesure les réponses sont exactes ou potentiellement dangereuses", explique Amulya Yadav, professeur à Penn State, dans un communiqué.
Pour cela, l'équipe a organisé un concours baptisé "Diagnose-a-thon" : 34 participants ont soumis à une IA générative un total de 212 questions portant sur des problèmes de santé réels ou fictifs. Les réponses générées par ChatGPT-4o, ChatGPT-3.5, Gemini-1.5 Pro et Llama3-8b ont ensuite été évaluées par neuf médecins certifiés.
Verdict : 76,2 % des réponses produites par les IA étaient médicalement correctes. Certaines spécialités, comme la gynécologie-obstétrique ou l'oto-rhino-laryngologie (ORL), ont affiché de bonnes performances avec peu de réponses jugées dangereuses. En revanche, les résultats se sont révélés beaucoup plus mitigés dans des domaines comme la médecine interne, la neurologie ou la dermatologie. Dans ces spécialités, les réponses étaient moins fiables, et faisaient donc courir davantage de risques potentiels pour les patients. A noter, sans grande surprise, que les questions très précises, formulées en 60 à 250 caractères, obtenaient généralement les réponses les plus pertinentes.
L'IA, un outil pour les médecins plutôt que pour les patients ?
L'équipe a tenté d'améliorer les performances des modèles en les entraînant sur des manuels médicaux, des recommandations cliniques et des publications scientifiques. Pourtant, cette formation supplémentaire n'a pas systématiquement permis d'obtenir de meilleures réponses. Surtout, les scientifiques soulignent que le taux d'erreur des IA reste supérieur à 20 %, soit environ deux fois plus élevé que celui observé chez les médecins humains.
"Je ne pense pas que l'IA remplacera les médecins. Elle offre surtout une formidable opportunité d'améliorer leurs compétences", estime Jennifer Kraschnewski, professeure de médecine interne à Penn State. Selon elle, les chatbots apparaissent aujourd'hui plus utiles comme outils d'aide à la décision pour les professionnels de santé que comme conseillers médicaux pour les patients. Pour le professeur S. Shyam Sundar, qui a participé aux travaux, l'enjeu est désormais d'apprendre à utiliser ces technologies de manière éclairée : "Que cela nous plaise ou non, les gens continueront à utiliser l'IA pour diagnostiquer leurs problèmes de santé."
