Seuils de décision en IA médicale : transformer les scores des modèles en points de fonctionnement vérifiables

Un modèle d’IA médicale peut produire un score semblable à une probabilité, une valeur de similarité ou une mesure continue de confiance. Un flux de travail a néanmoins besoin d’une règle pour déterminer ce qui se passe ensuite.

Un cas doit-il être traité en priorité, soumis à un second examen, classé comme négatif, différé ou faire l’objet d’une escalade afin d’obtenir davantage d’éléments probants ? Le score seul ne répond pas à cette question. La réponse vient d’un point de fonctionnement : un seuil ou un ensemble de seuils associé à un usage prévu, une population, un compromis entre erreurs et un processus humain bien définis.

Cette distinction est importante, car un modèle techniquement robuste peut être peu performant au point de fonctionnement retenu. Il peut correctement classer les cas tout en générant trop de fausses alertes, en manquant trop de cas importants ou en dépassant les capacités de l’équipe d’examen disponible. Un processus vérifiable de définition du seuil explicite ces conséquences avant l’évaluation protégée et avant qu’un score soit autorisé à déclencher une action.

Le score d’un modèle ne constitue pas encore une décision

Un score ordonne ou sépare les cas en fonction de ce que le modèle a appris. Un seuil convertit ce score en un état tel que positif, négatif, à examiner ou à différer.

Cette conversion relève d’un choix de politique. Elle dépend de questions auxquelles le modèle ne peut pas répondre seul :

• Quelle action suit chaque état ?
• Quelle est la conséquence d’un faux négatif ?
• Quels sont le coût et la charge de travail associés à un faux positif ?
• Un examinateur qualifié est-il disponible pour les cas incertains ?
• Dans quel délai la décision doit-elle être prise ?
• Quelle population et quel contexte cette politique couvre-t-elle ?

Un seuil acceptable pour une étude rétrospective peut être inutilisable dans une file d’attente où la capacité des spécialistes est limitée. Un seuil conçu pour établir des priorités peut ne pas convenir pour exclure une maladie. Un même modèle peut donc nécessiter des politiques de fonctionnement différentes selon les usages prévus, mais celles-ci ne doivent ni être mélangées ni être présentées comme interchangeables.

Définir l’action prévue avant de choisir le seuil

La sélection du seuil doit commencer par un énoncé du flux de travail, et non par une métrique privilégiée.

Précisez l’utilisateur, la population, l’entrée, la sortie, le contexte et l’action. Définissez ensuite la signification de chaque état possible du modèle. Par exemple, un flux d’examen encadré peut utiliser deux seuils :

1. un état de priorité élevée qui fait avancer un cas dans la file d’attente,
2. un état de routine qui maintient l’examen normal,
3. et une zone intermédiaire d’incertitude qui demande l’avis d’un autre lecteur ou des éléments probants supplémentaires.

Ce dispositif n’est pas automatiquement plus sûr qu’un seuil unique. Il n’est utile que si chaque état a un responsable, un délai de réponse et une solution de repli documentée. Une catégorie d’abstention à laquelle personne n’est affecté ne fait que dissimuler le travail non résolu.

Le processus d’établissement de la vérité terrain et du standard de référence doit lui aussi correspondre à l’action. Si le modèle est destiné à prioriser un examen clinique, l’étiquette cible, la fenêtre de suivi et l’unité de décision doivent étayer cette question plutôt qu’un indicateur de substitution qui ne lui est que vaguement lié.

Distinguer discrimination, calibration et classification

Trois notions sont souvent confondues :

• La discrimination consiste à déterminer si les cas à risque plus élevé tendent à recevoir des scores supérieurs à ceux des cas à moindre risque.
• La calibration consiste à déterminer si les risques prédits correspondent aux fréquences observées dans une population et un contexte définis.
• La classification à un point de fonctionnement consiste à déterminer quelles sensibilité, spécificité, valeurs prédictives, volume d’alertes et profil d’erreurs résultent de l’application d’un seuil.

Un modèle peut présenter une bonne discrimination tout en étant mal calibré.[1] Il peut aussi être calibré en moyenne tout en étant insuffisant au seuil déterminant pour le flux de travail. Aucune de ces propriétés ne remplace les autres.

C’est pourquoi la sortie brute d’un réseau de neurones ne doit pas être présentée comme une probabilité clinique sans éléments probants à l’appui de sa calibration. C’est également pourquoi l’AUROC ne choisit pas un point de fonctionnement. L’AUROC résume la capacité de classement sur l’ensemble des seuils ; le flux de travail nécessite encore une politique documentée pour un ou plusieurs points sélectionnés.

Pour une présentation plus générale des métriques, voir Évaluer les modèles d’IA médicale au-delà de l’exactitude.

Sélectionner à partir des données de développement ou de validation, et non du test protégé

Les équipes examinent souvent un résultat de test final, déplacent le seuil jusqu’à ce que la matrice de confusion paraisse meilleure, puis présentent le résultat ajusté comme s’il était indépendant. Cela revient à transformer la cohorte de test en données de développement.

Une séquence plus défendable consiste à :

1. définir l’usage prévu et la règle candidate de sélection du seuil,
2. ajuster le modèle et toute transformation de calibration à l’aide des données de développement autorisées,
3. comparer les points de fonctionnement candidats sur les données de validation,
4. choisir le point de fonctionnement selon des critères techniques et opérationnels prédéclarés,
5. figer le modèle, le prétraitement, la calibration, le seuil et le code d’analyse,
6. évaluer cet ensemble verrouillé sur des données protégées.

L’architecture exacte des données peut varier, mais le principe reste le même : les résultats protégés doivent estimer les performances une fois la politique de décision fixée. Si le résultat conduit à modifier la politique, la force de l’affirmation issue de l’évaluation change elle aussi.

Ce principe complète le partitionnement étanche aux fuites entre entraînement, validation et test. L’intégrité du partitionnement ne concerne pas seulement les lignes placées dans des dossiers. Elle couvre tous les choix influencés par les résultats, y compris le seuil de fonctionnement.

Quantifier les conséquences aux points de fonctionnement candidats

La sensibilité et la spécificité sont nécessaires, mais un flux de travail exige également de prendre en compte les volumes et les capacités.

Pour chaque seuil candidat, examinez :

• les vrais positifs, faux positifs, vrais négatifs et faux négatifs,
• les valeurs prédictives positives et négatives à la prévalence évaluée,
• les cas envoyés en examen manuel,
• le nombre attendu d’examens par jour ou par semaine,
• les conséquences sur les délais de traitement,
• les erreurs par site, appareil, sous-groupe et strate de qualité des entrées,
• les intervalles de confiance et, le cas échéant, l’instabilité entre les rééchantillonnages.

Un seuil qui améliore la sensibilité peut aussi augmenter le volume de fausses alertes. L’acceptabilité de ce compromis dépend de la conséquence d’un cas manqué, de la charge d’examen supplémentaire et de l’action suivante. L’analyse de courbe de décision est un cadre permettant de relier les préférences en matière de seuil au bénéfice net, mais elle ne supprime pas la nécessité d’un jugement clinique et opérationnel.[2]

Les nombres absolus sont particulièrement importants. Un faible pourcentage peut malgré tout créer une file d’attente ingérable au volume de production. À l’inverse, un gain de sensibilité apparemment modeste peut compter lorsque les cas manqués ont de lourdes conséquences. La décision doit être reliée au flux de travail réel, et non optimisée en fonction d’une métrique visuellement séduisante.

Concevoir l’incertitude et l’escalade comme des états à part entière

Tous les cas ne doivent pas être contraints de franchir une seule frontière binaire.

L’incertitude peut provenir d’une mauvaise qualité des entrées, d’un contexte manquant, d’un désaccord dans le standard de référence, d’un écart par rapport à la distribution de développement ou d’un score proche du point de fonctionnement. Ces situations sont différentes et peuvent justifier des réponses différentes.

Une politique vérifiable peut définir :

• un rejet au contrôle qualité avant l’inférence,
• une zone de faible confiance ou d’indétermination,
• une orientation vers un second lecteur qualifié,
• une demande portant sur une autre modalité ou source d’éléments probants,
• une condition d’arrêt d’utilisation lorsque les entrées sortent du périmètre.

Le rôle humain doit rester concret. Les flux de travail avec intervention humaine ne se créent pas par le simple ajout d’un bouton d’approbation. Les équipes ont besoin de responsabilités attribuées, de critères d’escalade, d’états d’audit et d’un moyen de mesurer les décisions de substitution et les cas non résolus. Les recommandations de l’OMS insistent elles aussi sur la redevabilité et la responsabilité humaine dans la gouvernance de l’IA en santé.[4]

Figer un contrat complet relatif au point de fonctionnement

Une valeur de seuil dépourvue de contexte ne constitue pas un élément probant reproductible.

Le dossier figé doit identifier :

• la version du modèle et du point de contrôle,
• les règles de prétraitement et de qualité des entrées,
• la définition du score et l’orientation des classes,
• la méthode de calibration et la cohorte utilisée pour son ajustement,
• la valeur du seuil ou la règle de sélection du seuil,
• la cohorte de validation et la version du standard de référence,
• les métriques, les intervalles de confiance et les vérifications par sous-groupe,
• l’utilisateur prévu, l’action, les exclusions et la solution de repli,
• les versions du code et de la configuration,
• le responsable de l’approbation et la date d’entrée en vigueur.

Ce contrat évite un mode de défaillance subtil : deux systèmes peuvent utiliser les mêmes poids du modèle tout en produisant des actions différentes parce que leur prétraitement, l’orientation de leur score, leur calibration ou la configuration de leur seuil diffèrent.

La transparence du rapport aide les examinateurs à comprendre ce qui a réellement été évalué. TRIPOD+AI fournit un cadre de présentation pour les modèles de prédiction reposant sur des méthodes de régression ou d’apprentissage automatique et renforce la nécessité de décrire clairement l’usage prévu, les méthodes et l’évaluation.[3]

Réévaluer la transportabilité sans réajuster silencieusement le seuil

Un point de fonctionnement sélectionné sur un site peut se comporter différemment ailleurs, car la prévalence, l’acquisition, la composition des cas, le flux de travail et les standards de référence diffèrent. La calibration peut également évoluer selon les populations et au fil du temps.[1]

L’évaluation externe doit d’abord mesurer la politique verrouillée telle qu’elle est transposée. Si les performances ne conviennent pas, les équipes peuvent étudier une recalibration, une révision du seuil ou une restriction du périmètre, mais il s’agit alors d’une nouvelle décision de développement. La cohorte de test externe ne doit pas devenir discrètement la source d’un seuil amélioré tout en restant présentée comme une validation intacte.

La même distinction s’applique aux appareils et aux populations. Voir Validation externe de l’IA médicale pour une présentation plus générale du processus de transportabilité.

Surveiller le point de fonctionnement après le déploiement

Un seuil n’est pas un fait permanent. Les conditions d’entrée, la prévalence, la capacité des examinateurs et les actions en aval peuvent changer.

Le suivi peut porter sur :

• la distribution des scores et les échecs liés à la qualité des entrées,
• les taux d’alerte et d’abstention,
• le volume d’examens manuels et les délais de traitement,
• les décisions de substitution et les résultats des escalades,
• la sensibilité reliée aux résultats différés et la charge de fausses alertes,
• la dégradation propre à un sous-groupe ou à un site,
• les changements de prévalence ou de pratique du standard de référence.

Une variation du volume d’alertes ne prouve pas à elle seule une dérive du modèle. Elle constitue un signal invitant à rechercher des changements dans les données, le flux de travail, le logiciel, la population et les étiquettes. La réponse doit suivre un processus contrôlé. Réajuster un seuil à partir de défaillances récentes sans nouveau plan de validation peut remplacer un problème visible par un autre qui n’a pas été mesuré.

C’est pourquoi le suivi des modèles dans les flux de travail réglementés doit inclure la politique de décision, et pas seulement la disponibilité du modèle et la dérive des entrées.

Un dossier pratique d’examen du seuil

Avant qu’un score ne pilote le flux de travail, les examinateurs doivent pouvoir répondre aux questions suivantes :

1. Quelle action et quelle population le point de fonctionnement couvre-t-il ?
2. Quelles erreurs comptent le plus et qui a approuvé le compromis ?
3. Le score a-t-il été calibré pour l’interprétation déclarée ?
4. Quelles données ont servi à sélectionner le modèle, la calibration et le seuil ?
5. L’évaluation protégée est-elle restée intacte jusqu’au gel du contrat complet ?
6. Quels niveaux de sensibilité, de spécificité, de valeurs prédictives, quels nombres de cas et quelle charge de travail en résultent ?
7. Quels sous-groupes, sites, appareils et quelles strates de qualité ont été vérifiés ?
8. Qu’advient-il des cas incertains, non évaluables ou hors périmètre ?
9. Quelles versions des artefacts permettent de reproduire le résultat ?
10. Quel signal de suivi déclenche un examen, une restriction, une recalibration ou un retrait ?

MAEA est conçu pour prendre en charge des dossiers reliés portant sur les expériences, les artefacts, les jeux de données et les éléments probants tout au long de ce cycle de vie. La plateforme peut aider à préserver le caractère vérifiable du contrat relatif au point de fonctionnement, mais les décisions cliniques, statistiques, liées à la qualité et opérationnelles demeurent sous la responsabilité d’équipes qualifiées.

Un seuil d’IA médicale n’est donc pas un nombre magique dissimulé dans un rapport de métriques. Il constitue un lien vérifiable entre les éléments probants du modèle et l’action humaine. Le traiter comme une politique gouvernée et versionnée facilite l’examen du résultat technique comme de l’affirmation relative au flux de travail.

Références

1. Van Calster et al., Calibration: the Achilles heel of predictive analytics
2. Vickers and Elkin, Decision curve analysis: a novel method for evaluating prediction models
3. Collins et al., TRIPOD+AI statement
4. World Health Organization, Ethics and governance of artificial intelligence for health