- Une étude montre que les chatbots ne donnent pas de meilleurs conseils médicaux que les moteurs de recherche.
- Les utilisateurs identifient correctement leur problème dans seulement un tiers des cas.
- Les experts appellent à la prudence face aux risques de mauvais diagnostics.
Peut-on faire confiance à une intelligence artificielle (IA) pour auto-diagnostiquer une pathologie ? Consulter ChatGPT pour un mal de tête est-il vraiment une bonne idée ? Pas si sûr : malgré leurs performances exceptionnelles aux examens médicaux, les chatbots ne donnent pas de meilleurs conseils de santé que les moteurs de recherche en ligne. C’est la conclusion d’une étude britannique publiée dans la revue Nature Medicine, alors que, chaque jour, 40 millions d’utilisateurs réguliers de l’IA conversationnelle ChatGPT l’interrogent sur des questions de santé, affirmait son développeur OpenAI en janvier.
Des performances décevantes face à des patients réels
La recherche, menée par une équipe de l’Université d’Oxford, a évalué près de 1.300 participants britanniques confrontés à dix scénarios médicaux courants : maux de tête après une soirée arrosée, épuisement chez une jeune maman ou encore symptômes de calculs biliaires. Pour leurs recherches, les volontaires utilisaient soit une IA conversationnelle (GPT-4o d’OpenAI, Llama 3 de Meta, Command R+), soit un moteur de recherche classique. Résultat, les utilisateurs de chatbots n’ont identifié correctement leur problème de santé qu’environ une fois sur trois. Et seuls 45 % ont choisi la bonne conduite à tenir. Des scores équivalents au groupe utilisant un simple moteur de recherche.
"Malgré tout l’engouement, l’IA n’est tout simplement pas prête à assumer le rôle du médecin", affirme Rebecca Payne, coautrice de l’étude à l’Université d’Oxford, dans un communiqué. Elle met en garde : "Les patients doivent savoir qu’interroger un grand modèle de langage sur leurs symptômes peut être dangereux, avec des diagnostics erronés et une incapacité à reconnaître les situations d’urgence".
Comment expliquer l’écart entre ces résultats et les excellentes notes obtenues par les IA aux examens ? Les chercheurs évoquent une "rupture de communication" : contrairement aux simulations de patients sur lesquelles sont entraînées les machines, les participants réels ne fournissaient pas toujours toutes les informations pertinentes. Certains interprétaient mal les réponses ou ignoraient les conseils donnés par l’IA. L’erreur serait donc surtout... humaine ?
Utiliser l’IA comme source d’information, pas de décision
Dans un récent billet, le Dr Jean-François Lemoine soulignait que ces chats médicaux pouvaient aider à "traduire le jargon médical en langage courant", à préparer une consultation médicale ou à mieux comprendre un parcours de soins. L’IA peut ainsi constituer un complément d’information.
Mais l’outil doit être utilisé "avec discernement", selon le médecin. Le principal risque est celui de la "fausse assurance" : une réponse fluide et rassurante peut sembler fiable alors qu’elle est trop générale, incomplète ou mal adaptée à votre situation personnelle. "Or, en médecine, une information vraie en général peut être fausse pour vous." Autre danger : banaliser un symptôme. Une réponse rassurante à tort peut retarder une consultation et faire perdre un temps précieux. "C’est pourquoi aucune IA ne doit être utilisée pour décider seule s’il faut consulter ou non."
Le Dr Lemoine recommande quelques règles simples : utiliser ces outils comme source d’information et non de décision, toujours croiser avec l’avis d’un professionnel de santé, ne jamais modifier un traitement sans avis médical et se méfier des réponses trop affirmatives.
