🏛️ Un cas clinique qui interpelle
Un patient consulte pour une faiblesse musculaire à l’abduction de l’épaule gauche, apparue progressivement et sans traumatisme. Les amplitudes sont diminuées, sans douleur marquée. Vous suspectez une atteinte de la coiffe des rotateurs, mais un test de rotation externe révèle une asymétrie nerveuse. Un EMG est demandé, puis une IRM montre une atteinte partielle du nerf suprascapulaire.
Votre hypothèse initiale glisse d’une lésion musculo-tendineuse vers une neuropathie compressive. Vous ajustez votre plan de traitement, mobilisez des techniques neurodynamiques, revoyez les exercices.
Et si un modèle d’IA vous assistait dans cette démarche ? Saura-t-il adapter son jugement à mesure que les informations arrivent, ou persistera-t-il dans une voie erronée ?
C’est précisément ce que le test de concordance de script (TCS) permet de mesurer. L’étude que nous décryptons aujourd’hui lève le voile sur les forces et les limites des Larges Languages Models (LLM) face à l’incertitude clinique.
🔹 Points clés (Highlights)
- Les LLM échouent à reproduire la flexibilité de raisonnement des cliniciens en situation d’incertitude.
- Le modèle o3 d’OpenAI surpasse les autres, mais reste sous le niveau des médecins seniors.
- Les modèles optimisés pour le raisonnement font preuve d’excès de confiance.
- Le test de concordance de script (TCS) se révèle comme un benchmark clinique fiable et nuancé.
- Un benchmark public est maintenant disponible pour tester les IA médicales en condition réaliste.
🔍 Introduction
Les grands modèles de langage (LLM) ont marqué une avancée majeure dans le traitement automatique du langage naturel, franchissant avec brio des épreuves standardisées comme les QCM médicaux, les examens d’autorisation d’exercer, ou encore des jeux de questions-réponses cliniques. Ces performances ont généré un enthousiasme sans précédent autour de leur potentiel à transformer la pratique clinique — transcription automatique, synthèse de dossiers, assistance à la décision médicale…
Mais ces tests ont un biais fondamental : ils mesurent surtout la capacité d’un modèle à restituer des faits déjà vus ou encodés. Or, le raisonnement clinique — le vrai — ne se résume pas à un catalogue de savoirs. Il s’agit d’un processus fluide, contextuel, incertain. Un raisonnement probabiliste qui évolue à chaque nouvelle information. En situation réelle, les cliniciens adaptent en permanence leurs jugements en fonction de signaux parfois contradictoires, d’hypothèses concurrentes, d’une part d’intuition. Peu de benchmarks actuels sont capables de capturer cette dynamique.
Dans ce contexte, l’étude menée par McCoy et coll. (NEJM AI, septembre 2025) marque une étape clé. En s’appuyant sur un outil d’évaluation issu de la pédagogie médicale, le test de concordance de script (SCT), elle propose une mesure inédite : la capacité des LLM à ajuster leur raisonnement à mesure que les données arrivent, et à se positionner dans l’incertitude. Le SCT, validé de longue date pour évaluer les cliniciens en formation, devient ici un prisme rigoureux pour interroger la pertinence des IA en santé réelle.
Ce changement de paradigme ne vise pas à désavouer les progrès techniques, mais à mieux les contextualiser. Il permet d’ouvrir un débat crucial : quelles compétences cliniques voulons-nous déléguer à l’IA ? Et comment en évaluer la fiabilité de manière crédible ?
📊 Méthode
Le TCS se compose de vignettes cliniques. Une situation, une hypothèse, puis une nouvelle donnée : le modèle doit juger si cela renforce ou affaiblit l’hypothèse. La réponse est notée en fonction d’un panel d’experts (score plein si elle correspond à la réponse modale, score partiel si partagée).
Dans cette étude :
- 750 questions TCS
- 10 bases de données internationales
- Comparaison entre 10 LLM (GPT-4o, o3, Claude 3.5, Gemini, etc.)
- Échantillons humains : étudiants (n=1070), internes (n=193), médecins (n=300)
Les modèles ont été testés en zéro-coup, few-shot, avec ou sans incitation au raisonnement explicite.
📊 Résultats
Des performances en demi-teinte
Le modèle o3 d’OpenAI obtient les meilleurs résultats (67,8 %) suivi par GPT-4o (63,9 %), devançant les étudiants, mais restant derrière les résidents seniors. Les modèles optimisés pour le raisonnement (o1-preview, DeepSeek, Gemini 2.5) font souvent moins bien.
Une surconfiance manifeste
Tous les modèles tendent à surutiliser les réponses extrêmes (±2) et à ignorer la réponse 0, signe d’une difficulté à intégrer l’incertitude. Le modèle o3 reste le plus équilibré dans sa distribution.
Une différence qualitative avec les cliniciens
Les médecins adaptent finement leurs jugements. Les LLM raisonnent par « sauts » logiques, sans nuances. Les modèles confondent incertitude et contradiction, et leur manque de calibrage probabiliste nuit à leur pertinence clinique.
🤝 Conclusion
Cette étude révèle les limites actuelles des IA en raisonnement clinique. Brillants sur les QCM, les LLM peinent à réagir de façon nuancée face à des données floues. Le SCT, validé depuis longtemps en pédagogie médicale, fournit une métrique plus fine, plus humaine, de la compétence clinique.
🏥 Changements à mettre en place au cabinet
1. Douter de la surperformance affichée : Un LLM peut briller aux tests standards sans être pertinent en situation réelle. Avec TOHA, accédez à des analyses critiques pour distinguer performance théorique et impact clinique.
2. Demander la validation clinique : TOHA vous fournit des outils d’évaluation basés sur les meilleurs données actuelles, pas d’hallucinations, pas de probabilité, vous êtes guidés par la science.
3. Former vos collègues à l’interprétation de l’IA : L’onglet « IA clinique » de TOHA contient des modules pratiques pour apprendre à décrypter les réponses algorithmiques.
4. Participer à la recherche : Grâce à TOHA, contribuez à l’amélioration continue des modèles IA en partageant vos cas cliniques ou en rejoignant notre réseau.
5. Favoriser les outils transparents : TOHA met en avant les modèles qui affichent leurs limites, leurs taux d’erreur, et la qualité de leur validation. Vous gagnez en clarté et en sécurité.
✅ Cliquez ici pour explorer le benchmark : https://concor.dance
✅ Partagez cette analyse avec vos collègues pour une discussion éthique et clinique sur l’usage des modèles IA