En IA médicale, une étiquette n’est pas automatiquement un fait. Elle résulte d’une source de preuves, d’un protocole, d’évaluateurs qualifiés et d’un processus de résolution des désaccords qui doivent rester traçables.
By ModAstera
01 Sep 2026
Les équipes d’IA médicale qualifient souvent leurs étiquettes cibles de « vérité terrain ». L’expression est rassurante. Elle laisse entendre que chaque image, signal, prélèvement ou dossier contient une seule bonne réponse et que le jeu de données ne fait que la révéler.
En pratique, une étiquette peut provenir d’un résultat anatomopathologique, d’une culture, d’un événement de suivi, d’un compte rendu, d’un code de facturation, d’une mesure réalisée par un dispositif, d’un expert, d’un consensus collégial ou d’un modèle antérieur. Chaque source répond à une question différente. Chacune possède sa propre temporalité, ses propres données manquantes et modes d’erreur, ainsi qu’un lien particulier avec l’usage prévu.
Cela ne rend pas l’IA médicale supervisée impossible. Cela signifie que le standard de référence fait partie du système à concevoir. Si le processus d’étiquetage est vague, un modèle peut être optimisé par rapport à une cible instable tout en affichant une métrique impressionnante. Si ce processus est explicite, l’équipe peut comprendre ce que signifie la métrique, d’où viennent les désaccords et si les preuves étayent l’affirmation.
Un standard de référence est la méthode utilisée pour déterminer l’affection cible ou le résultat par rapport auquel un modèle est entraîné ou évalué. Il se rapproche parfois d’un fait directement observé. Il s’agit souvent d’un jugement structuré porté à partir d’informations incomplètes.
Prenons quatre exemples :
Ces étiquettes ne sont pas interchangeables. Une étiquette tirée d’un compte rendu peut refléter le flux de travail clinique et une documentation incomplète. Une étiquette collégiale dépend de la composition du groupe d’évaluateurs, des instructions, du contexte disponible et des règles de consensus. Une étiquette de résultat dépend de la fenêtre d’observation et de la définition de l’événement. Un standard de référence mixte peut introduire des différences systématiques entre les cas.
La première discipline est donc linguistique : employer « vérité terrain » comme raccourci, puis documenter précisément le véritable standard de référence.
Le protocole d’étiquetage ne doit pas commencer par l’outil d’annotation. Il doit commencer par la décision que le modèle est censé étayer.
Définissez :
Une inadéquation entre les unités peut produire des preuves trompeuses. Un modèle peut fonctionner sur des images alors que le résultat est défini au niveau du patient. Plusieurs images provenant d’un même patient peuvent partager une seule étiquette. Si ces images sont traitées comme des faits indépendants, l’intégrité des partitions comme les estimations de l’incertitude peuvent être faussées.
C’est pourquoi la conception du standard de référence et les partitions d’entraînement, de validation et de test protégées contre les fuites de données doivent être abordées conjointement.
Les preuves disponibles les plus solides dépendent de la tâche. L’histopathologie peut convenir à une question diagnostique, un résultat longitudinal à une autre et l’évaluation visuelle d’un expert à une troisième. Aucune source ne devient un étalon-or universel simplement parce qu’elle est coûteuse ou courante dans la pratique clinique.
Pour chaque étiquette, consignez :
Les étiquettes de substitution exigent une prudence particulière. Les mots-clés des comptes rendus, les codes de diagnostic, les codes d’acte et les décisions thérapeutiques peuvent apporter du volume, mais ils peuvent aussi refléter les habitudes de documentation, les règles de facturation, les pratiques locales ou l’accès aux soins. Ils peuvent constituer des cibles utiles lorsque la tâche prévue correspond à ce qu’ils représentent. Ils ne doivent pas être décrits comme un autre fait clinique.
Une directive d’étiquetage est une spécification exécutable du jugement humain. Elle doit comprendre des règles d’inclusion et d’exclusion, des conventions de délimitation, le traitement des entrées de mauvaise qualité et des états incertains, des exemples, des contre-exemples et des critères d’escalade.
Versionnez le protocole. Consignez les cas étiquetés sous chaque version. Lorsqu’une définition change, n’écrasez pas silencieusement l’historique. Déterminez si les étiquettes antérieures restent valides, doivent faire l’objet d’une nouvelle revue ou nécessitent une transformation explicable et reproductible.
Testez le protocole sur un échantillon volontairement difficile avant de lancer une campagne d’annotation à grande échelle. Incluez des cas limites, des artefacts, des présentations peu courantes et des cas pour lesquels il manque des éléments de contexte pertinents. L’objectif de ce test pilote n’est pas de maximiser l’accord. Il est de mettre au jour les instructions ambiguës tant que les modifications restent peu coûteuses.
Les outils d’annotation peuvent accélérer ce processus, mais ils ne constituent pas le standard de référence. L’aide au clic, les pré-étiquettes et l’annotation automatique peuvent réduire le travail manuel. Ils peuvent aussi orienter les évaluateurs vers une suggestion de la machine. Si des fonctionnalités d’assistance sont utilisées, consignez quand et comment elles le sont, et évaluez si le flux de travail modifie le comportement des évaluateurs.
La mention « étiqueté par un expert » ne suffit pas. L’expertise dépend de la tâche.
Consignez les qualifications des évaluateurs, leur formation pertinente, leur expérience de la modalité ou de l’affection, leur formation au protocole, les exercices de calibration et, le cas échéant, les conflits d’intérêts. Consignez également les informations disponibles pendant la revue :
Un contexte plus riche peut améliorer le jugement clinique tout en rendant l’étiquette moins indépendante de la source de données évaluée. Un contexte plus restreint peut améliorer la mise en aveugle tout en créant une tâche artificielle. La bonne conception dépend de l’usage prévu. L’essentiel est de faire un choix délibéré et de le documenter.
Lorsque deux évaluateurs qualifiés sont en désaccord, ce désaccord constitue une information. Il peut révéler une directive vague, une mauvaise qualité de l’entrée, un phénotype difficile, une frontière continue contrainte dans une catégorie binaire ou de véritables limites des connaissances actuelles.
Un processus défendable définit l’étape suivante avant le début de la revue. Les possibilités comprennent :
Ces méthodes répondent à des questions différentes. Un vote majoritaire résume l’avis d’un groupe. Un arbitrage produit une étiquette opérationnelle finale selon une règle définie. Un consensus peut améliorer la cohérence, mais aussi effacer la distribution initiale des opinions. Aucune de ces méthodes ne révèle automatiquement une vérité biologique impossible à connaître.
Conservez les étiquettes brutes des évaluateurs même lorsque le modèle utilise une cible issue d’un arbitrage. Les données provenant de plusieurs évaluateurs peuvent étayer des analyses de sensibilité, des cartes de désaccord, des cibles probabilistes ou une évaluation séparée des cas clairs et ambigus. Des travaux tels que Multi-rater Prism montrent pourquoi les variations entre les étiquettes d’experts peuvent être modélisées plutôt qu’écartées.
Forcer chaque cas dans une classe positive ou négative peut faciliter l’entraînement sur un jeu de données tout en rendant les preuves moins fidèles à la réalité.
L’incertitude peut apparaître à plusieurs niveaux :
Ces états ne doivent pas tous être regroupés sous une seule étiquette. Définissez les cas qui sont exclus, reportés, conservés comme incertains ou résolus à l’aide de preuves supplémentaires. Indiquez comment ces choix influent sur la taille de la cohorte et l’équilibre des classes.
Ce principe s’inscrit dans une conception plus générale de l’IA avec intervention humaine : l’incertitude doit orienter le travail vers l’évaluateur ou le processus approprié, et non disparaître derrière une réponse automatisée.
Les étiquettes de développement sont souvent itératives. Les équipes affinent les instructions, corrigent les erreurs manifestes et examinent les défaillances du modèle. Cette démarche est utile pendant le développement, mais le même retour d’information peut contaminer un jeu d’évaluation.
Pour une cohorte d’évaluation verrouillée, définissez qui peut accéder aux cas, quand les étiquettes peuvent être modifiées, comment les corrections sont autorisées et si la sortie du modèle est masquée aux évaluateurs. Conservez toute correction a posteriori dans une piste d’audit et, le cas échéant, présentez les analyses réalisées avant et après la modification.
Cela ne signifie pas que les étiquettes d’évaluation ne peuvent jamais être corrigées. Cela signifie qu’une correction est un événement probant maîtrisé, et non une modification discrète effectuée après l’observation d’un résultat défavorable.
Une métrique principale du modèle ne peut être interprétée sans comprendre le processus d’étiquetage qui la sous-tend. Les mesures utiles du système d’étiquetage peuvent comprendre :
L’accord n’est pas synonyme de validité, et aucune statistique ne convient à toutes les tâches. Un taux d’accord élevé peut refléter une cohorte facile. Un taux plus faible peut refléter une frontière difficile, mais cliniquement importante. Utilisez des mesures adaptées au type d’étiquette et présentez les décomptes sous-jacents.
La mise à jour 2024 de CLAIM et STARD 2015 constituent des repères utiles en matière de présentation des résultats, car ils incitent les équipes à rendre leurs méthodes suffisamment visibles pour permettre une évaluation critique. L’objectif n’est pas de cocher des cases pour la forme. Il est d’indiquer clairement ce qui a été mesuré et selon quel standard.
Pour chaque étiquette finale, un examinateur doit pouvoir retrouver :
C’est à ce stade que le flux de travail d’annotation rejoint l’infrastructure du cycle de vie des données. MAEA est conçue pour maintenir le lien entre les échantillons, les étiquettes, les jeux de données et les enregistrements des expériences en aval. La plateforme peut prendre en charge cette chaîne, mais les équipes qualifiées doivent toujours définir l’usage prévu, la source de référence, le protocole, le processus d’évaluation et les critères d’acceptation.
La filiation des étiquettes importe également lors de la validation externe. Une différence de performance entre les sites peut refléter un changement de population ou de dispositif, mais aussi un changement de méthode de référence. Sans filiation, il est difficile de distinguer ces explications.
Avant d’entraîner ou d’évaluer un modèle d’IA médicale, posez les questions suivantes :
Si plusieurs réponses reposent sur la mémoire, des feuilles de calcul ou des fichiers écrasés, le risque n’est pas seulement opérationnel. Il modifie la signification du résultat du modèle.
Un standard de référence défendable n’élimine pas l’incertitude. Il rend l’incertitude, les décisions et le parcours des preuves vérifiables. C’est une base plus solide pour évaluer l’IA médicale au-delà de l’exactitude et déterminer si un modèle est prêt à passer à l’étape suivante de constitution des preuves.
Dimensionner un jeu de données d’IA médicale relève de l’arithmétique. Ce qui échoue, c’est de le garder prouvable, versionné et réutilisable pendant des années de développement, et c’est précisément ce que MAEA est conçu pour tenir.
Il n’existe pas de chiffre unique. Il existe un budget de données, un calendrier et un critère d’évaluation qui rendent enfin ce chiffre calculable. Rapport complet sur le dimensionnement des preuves en IA médicale réglementée.
Un guide pratique pour vérifier si un système d’IA médicale verrouillé reste transférable au-delà de ses données de développement, avec la conception de cohorte, les seuils, les sous-groupes, le flux de travail et l’analyse des échecs.
