Il n’existe pas de chiffre unique. Il existe un budget de données, un calendrier et un critère d’évaluation qui rendent enfin ce chiffre calculable. Rapport complet sur le dimensionnement des preuves en IA médicale réglementée.
By ModAstera
28 Aug 2026
Une question que se posent tous les fabricants de dispositifs médicaux et toutes les entreprises de santé numérique qui développent une solution d’IA médicale : de quelle quantité de données ai-je besoin pour entraîner mon modèle ?
La question paraît simple, mais elle ne l’est pas. Quatre questions distinctes s’y cachent généralement, et leurs réponses diffèrent :
Cet article répond aux quatre, dans le cadre défini ci-dessous.
Une règle de comptage s’applique partout. Chaque chiffre renvoie à l’unité indépendante définie par l’usage prévu, en général le patient ou le cas clinique, et non au nombre d’images, de patchs, de coupes, d’images vidéo, de comptes rendus ou de copies augmentées. Des observations répétées chez un même patient ajoutent de l’information, mais elles n’augmentent pas la taille d’échantillon clinique indépendante au rapport de un pour un. Les confondre est une cause fréquente à la fois de surestimation des jeux de données et de surestimation des performances.
Techniquement défendable, pratiquement inutile. Elle échoue pour six raisons.
Elle ne répond à aucune des quatre questions ci-dessus. À une équipe qui demande un budget, un calendrier et un nombre d’échantillons, on répond de maximiser une quantité non bornée. Rien dans cette réponse ne permet de planifier.
Les données sont rares, et cette rareté est structurelle plutôt qu’accidentelle. Une analyse publiée dans le JAMA des cohortes américaines utilisées pour entraîner des algorithmes diagnostiques d’apprentissage profond a montré que 40 des 56 études disposant de cohortes géographiquement identifiables, soit 71 %, reposaient sur des données de Californie, du Massachusetts ou de New York, tandis que 34 États ne contribuaient à aucune cohorte. L’offre mondiale de données d’entraînement médicales n’est pas répartie uniformément, et la part correspondant à une population d’usage donnée peut être quasi inexistante.
Les données disponibles sont désordonnées. Willemink et ses collègues, dans Radiology, estiment que le prétraitement et l’organisation des données en vue de leur ingestion représentent 80 % ou plus de l’effort d’un projet d’apprentissage automatique en imagerie médicale. Le volume brut présent dans un PACS, un SIL ou un DPI n’équivaut pas à des données d’entraînement exploitables, annotées, juridiquement sécurisées et exemptes de fuite.
Les bonnes données coûtent cher. Le même article décrit l’annotation manuelle experte de grandes populations comme extrêmement chronophage et coûteuse, en particulier pour le scanner, la TEP et l’IRM. Les référentiels exigeant biopsie, arbitrage ou suivi de résultats coûtent davantage encore, et ce sont précisément ceux dont une revendication a généralement besoin.
Les entreprises doivent planifier et budgéter à l’avance. « Le plus possible » ne s’inscrit pas sur une ligne budgétaire, ne se place pas sur un diagramme de Gantt, ne se défend pas devant un conseil d’administration et ne s’écrit pas dans un accord de partage de données. Cela ne permet pas non plus de décider s’il faut lancer le projet.
Ce n’est pas une réponse d’ingénierie. Elle ne fournit ni règle d’arrêt, ni jalon, ni moyen de savoir si les 5 000 cas suivants changeront quoi que ce soit.
Deux faits règlent bien des débats avant même qu’ils ne commencent.
Aucun régulateur ne prescrit une taille de jeu d’entraînement. IMDRF N41, la version finale des principes IMDRF N88 de bonnes pratiques d’apprentissage automatique, MDCG 2020-1, MDCG 2025-6 / AIB 2025-1 et le projet de guidance de la FDA sur le cycle de vie des dispositifs à IA exigent tous des données d’entraînement, de validation et de test représentatives, de taille adéquate et justifiées. Aucun ne nomme un N. L’obligation est de défendre la taille retenue, non d’atteindre un seuil publié.
Il n’existe pas non plus de norme unique acceptée. Les sociétés savantes publient des heuristiques. Un groupe de travail de l’IFCC cite approximativement 1 000 à 5 000 exemples par classe comme règle grossière pour les tâches complexes de vision par ordinateur et d’apprentissage profond, mais la même recommandation invite les équipes à mesurer des courbes d’apprentissage plutôt qu’à se fier à cet intervalle.
Une nuance importe, car « aucun régulateur n’exige de chiffre » est souvent exagéré. Une guidance propre à un type de preuve peut recommander des effectifs. La guidance de la FDA sur les facteurs humains et l’utilisabilité recommande généralement au moins 15 participants représentatifs par population d’utilisateurs distincte pour les tests de validation. L’absence de minimum pour l’entraînement n’est pas l’absence de tout chiffre.
Ce dont l’exigence dépend réellement se répartit en quatre groupes.
L’exigence de données est fixée par ce que le modèle doit être, non par ce qui est disponible. Le modèle doit être stable : ses performances ne doivent pas fluctuer avec une graine aléatoire, un pli ou un rééchantillonnage différents. Il doit être généralisable, ce qui s’achète par la diversité et non par la répétition. Il doit couvrir la variation interne à son propre usage prévu : chaque scanner, protocole, méthode de préparation, groupe démographique et sous-type de maladie nommé dans la revendication est une obligation de couverture. Il doit produire des preuves, car une revendication exige une étude et une étude exige un nombre suffisant d’événements cibles. Et il doit atteindre les métriques visées : un dispositif devant atteindre 95 % de sensibilité exige des données plus nombreuses et mieux choisies qu’un dispositif visant 80 %.
Entraîner à partir de zéro ou s’appuyer sur un modèle préentraîné modifie l’exigence d’un ordre de grandeur. Les modèles à grande capacité entraînés depuis une initialisation aléatoire sur des données d’imagerie, de signal ou de langage nécessitent généralement bien plus de données de développement qu’un modèle en apprentissage par transfert ou un modèle classique pour la même tâche.
Les licences et les autorisations déterminent la part des données réellement utilisable. Base de consentement, droits d’usage secondaire, droits d’usage commercial, transfert transfrontalier et droit de conserver les données pour un réentraînement futur peuvent tous retirer un jeu de données du plan après qu’il a été compté.
Un développement interne fait porter à l’équipe la charge d’acquisition, d’annotation et de versionnement : l’exigence est alors bornée par ce que cette équipe peut traiter, et non par ce qui existe. Un développement externalisé déplace l’exécution mais non la responsabilité : le fabricant doit toujours démontrer la provenance, la qualité des annotations et l’indépendance des données de test.
La maîtrise du cycle de vie des données est le déterminant discret. Les équipes incapables de versionner un jeu de données, de remonter une annotation jusqu’à son auteur ou de prouver qu’un cas de test n’a jamais touché l’entraînement auront besoin de plus de données que celles qui le peuvent, car elles perdent des cohortes à cause de fuites, refont des cycles d’annotation et ne peuvent pas réutiliser les preuves antérieures.
La classification est généralement la moins coûteuse par cas : une annotation par unité, et un dimensionnement qui suit la précision binomiale sur la classe cible. La localisation et la mesure, c’est-à-dire la détection et la segmentation, coûtent davantage, car l’annotation est spatiale plutôt que catégorielle et parce que plusieurs lésions corrélées chez un même patient compliquent l’annotation comme l’analyse. L’explication et la sortie en texte libre relèvent du génératif et sortent du cadre.
Quatre artefacts remplacent le chiffre unique. Leur ordre est délibéré : la méthode précède le calendrier, car le calendrier n’est rien d’autre que la méthode appliquée étape par étape.
Un budget de données est une matrice, pas un scalaire. Il associe chaque frontière d’usage prévu et chaque mesure de maîtrise du risque à une source, un nombre de cas, un nombre d’événements cibles, une méthode d’annotation et une analyse planifiée. Il sépare également cinq compartiments que les régulateurs évaluent séparément et que les équipes fusionnent régulièrement.
| Compartiment | À quoi il sert |
|---|---|
| Données de développement et d’entraînement | Ajuster les paramètres ou les règles du modèle. |
| Réglage et validation interne | Choisir l’architecture, les seuils, les variables et le prétraitement. Dès que des données influencent un choix, elles deviennent des données de développement. |
| Données de test analytique verrouillées | Estimer la performance technique autonome, avec l’indépendance requise aux niveaux patient, acquisition et site. |
| Performance clinique et facteurs humains | Tester le dispositif fini dans la population, le flux de travail et l’équipe humain-IA visés. Une étude prospective, une étude de lecteurs, une étude de résultats ou une validation d’utilisabilité peut être nécessaire, et aucun jeu de test algorithmique ne s’y substitue. |
| Post-commercialisation et validation des changements | Surveiller la performance en conditions réelles et soutenir les modifications maîtrisées. Les nouvelles versions exigent des preuves de test fraîches ou démontrablement isolées. |
Un budget exprimé ainsi résiste à une négociation de partage de données. Un chiffre unique n’y résiste pas.
C’est ici que le chiffre demandé apparaît enfin, et il apparaît pour l’étude de validation, non pour le jeu d’entraînement.
Identifiez d’abord le dénominateur de chaque métrique. La sensibilité vaut vrais positifs / tous les cas positifs au référentiel : sa précision dépend donc du nombre de personnes réellement atteintes. La spécificité vaut vrais négatifs / tous les cas négatifs au référentiel : sa précision dépend du nombre de personnes non atteintes. Une étude de 1 000 participants peut rester très insuffisante pour une revendication de sensibilité si seule une poignée d’entre eux présente la pathologie. La guidance statistique de la FDA sur les tests diagnostiques définit ces dénominateurs et recommande de rapporter les fractions sous-jacentes, les pourcentages et les intervalles de confiance bilatéraux à 95 %.
Choisissez ensuite la méthode adaptée à la question à laquelle l’étude doit répondre. Il n’existe pas de formule unique de taille d’échantillon pour l’IA médicale, et en choisir une avant d’avoir décidé ce que l’étude doit démontrer est la manière la plus courante d’obtenir un chiffre d’apparence solide qui ne répond à rien.
Estimation fondée sur la précision. Buderer (1996) demeure la référence. Sa contribution a été d’intégrer la prévalence au dimensionnement d’une étude de précision diagnostique, de sorte qu’un nombre requis de cas positifs se convertisse en nombre de patients à recruter plutôt que de rester un décompte d’événements abstrait. Ses limites découlent toutes de sa simplicité : elle utilise l’approximation normale de Wald, la moins fiable précisément aux performances élevées et aux effectifs d’événements modérés typiques de l’IA médicale ; elle dimensionne une largeur d’intervalle symétrique plutôt qu’une décision ; elle traite sensibilité et spécificité comme deux études distinctes ; et elle suppose la prévalence connue plutôt qu’estimée.
Whittle et al. (2025) généralisent cette forme fermée à l’ensemble des métriques que rapporte un classifieur à seuil : exactitude, sensibilité, spécificité, valeurs prédictives positive et négative, avec une procédure itérative pour le score F1, implémentée dans le paquet pmvalsampsize. La nouveauté tient à la couverture : un cadre unique dimensionne toutes les métriques susceptibles d’être citées dans un dossier. La limite est qu’il reste dans un cadre d’estimation de précision, et les auteurs indiquent explicitement que, pour la sensibilité seule, il se ramène au même calcul binomial que Buderer. C’est une extension, non un remplacement.
Monti, Ambrogi et Sardanelli (2024) offrent le point d’entrée le plus utile, couvrant le dimensionnement de la fiabilité (kappa de Cohen, coefficient de corrélation intraclasse, limites d’agrément de Bland-Altman) aux côtés de la performance diagnostique, de l’aire sous la courbe ROC et des comparaisons appariées ou non, chacune avec des exemples chiffrés. Sa valeur tient à l’ampleur plutôt qu’à la nouveauté méthodologique ; il ne traite ni la structure en grappes, ni les plans adaptatifs, ni la validation fondée sur modèle.
Test contre un objectif de performance. Stark et Zapf (2020) abordent la question que pose réellement une étude de confirmation : non pas la largeur de l’intervalle, mais le fait que le dispositif dépasse un minimum préspécifié. Deux caractéristiques la rendent plus adaptée à un dossier réglementaire que tout calcul de précision. Sensibilité et spécificité sont traitées comme de véritables critères co-principaux : l’étude est donc dimensionnée pour que les deux réussissent, et non pour que chacun réussisse séparément. Et parce que l’effectif requis dépend fortement d’une prévalence supposée, les auteurs ajoutent une réestimation unique et en aveugle de la prévalence en cours d’étude, ce qui évite qu’une hypothèse initiale erronée produise une étude surpuissante dans une sous-population et sous-puissante dans l’autre. Les limites tiennent au périmètre : cadre de confirmation à un seul bras avec référentiel fixe, et réestimation intermédiaire qui doit être préspécifiée plutôt qu’ajoutée après coup.
Validation d’un modèle à sortie probabiliste. Riley et al. (2021) déplacent la cible de l’exactitude vers les propriétés qui décident si un modèle de risque est utilisable : calibration globale, pente de calibration, discrimination et bénéfice net, l’effectif requis étant le plus grand parmi les métriques préspécifiées. Cela compte parce qu’un modèle peut bien discriminer tout en étant assez mal calibré pour être dangereux à son seuil de fonctionnement, un échec qu’un calcul de sensibilité ne voit pas. La limite pratique est que les formes fermées exigent une distribution supposée du prédicteur linéaire du modèle, malaisée à fournir avant que le modèle n’existe. Snell et al. (2021) sont allés plus loin en montrant que la précision dépend de cette distribution et non du seul nombre d’événements : la règle empirique familière d’au moins 100 événements et 100 non-événements n’est donc pas fiable, et le calcul par simulation est plus sûr que toute forme fermée.
Utiliser des preuves antérieures. Wilson et al. (2022) appliquent l’assurance bayésienne à la précision diagnostique, en visant la largeur d’un intervalle a posteriori tout en représentant sensibilité, spécificité et prévalence par des distributions plutôt que par des estimations ponctuelles. La nouveauté est que les preuves de validation analytique antérieures peuvent être reprises au lieu d’être écartées, ce qui peut réduire sensiblement le recrutement dans des populations rares ou difficiles d’accès. La limite est que ce gain s’achète au prix d’un a priori qu’il faut ensuite défendre, raison pour laquelle l’article exige aussi une analyse de sensibilité à l’a priori et un contrôle de conflit entre a priori et données.
Évaluer l’équipe humain-IA. Obuchowski et Bullen (2022) exposent le plan multi-lecteurs multi-cas, méthode pertinente dès lors que la revendication porte sur une amélioration des cliniciens assistés par le dispositif. La différence essentielle est qu’une étude MRMC échantillonne deux populations et non une seule, les patients et les lecteurs, et doit gérer les lectures appariées et la corrélation intra-lecteur. Un calcul de sensibilité sur échantillon unique sous-estime considérablement ce qu’exige une telle revendication. La FDA distribue iMRMC pour l’analyse.
Juger le jeu d’entraînement. Riley et Collins (2023) constituent ce qui se rapproche le plus, dans la littérature, d’une méthode pour l’adéquation du jeu d’entraînement, et ce n’est délibérément pas une formule de taille d’échantillon. Ils proposent d’examiner directement l’instabilité, en rééchantillonnant par bootstrap l’ensemble du pipeline de développement et en traçant l’ampleur des variations du risque estimé d’un individu. La nouveauté est de reformuler « mon jeu d’entraînement est-il assez grand ? », question sans réponse en forme fermée, en une question empirique traitable avec les données déjà disponibles. La limite est qu’elle est diagnostique et non prescriptive : elle indique qu’un modèle est instable à sa taille actuelle, mais pas combien de cas supplémentaires y remédieraient. Cette question relève de la courbe d’apprentissage.
Aucune méthode ci-dessus ne suffit à elle seule. Pour un SaMD réglementé, procédez dans cet ordre.
Les régulateurs sont délibérément neutres sur ce point. Le projet de guidance de la FDA de janvier 2025 sur les dispositifs à IA demande aux promoteurs de justifier taille d’échantillon, critères, critères d’acceptation, référentiels et puissance statistique, sans prescrire de formule ; les principes GMLP IMDRF N88 demandent des preuves représentatives, indépendantes et adaptées à l’objectif plutôt qu’un chiffre fixe. L’obligation est de justifier la méthode, non de trouver la méthode approuvée.
Pour un premier budget, le chiffre que l’on emporte dans une négociation de partage de données avant l’existence d’un protocole, le calcul binomial de précision reste l’outil le plus clair. Pour une proportion binomiale indépendante, la demi-largeur de l’intervalle de confiance à 95 % par approximation normale vaut z × sqrt[p × (1 − p) / n]. En posant cette demi-largeur égale à la cible d et en résolvant pour n, on obtient :
n = z² × p × (1 − p) / d²
où p est la sensibilité ou la spécificité attendue, d la demi-largeur tolérée, et z = 1,96 pour un intervalle bilatéral à 95 %.
Exemple chiffré, pour une sensibilité attendue de 90 % et une demi-largeur tolérée de 5 points : posez p = 0,90, d = 0,05, z = 1,96 ; calculez n = 1,96² × 0,90 × 0,10 / 0,05² = 138,3 ; arrondissez à 139 cas positifs au référentiel. Si la spécificité attendue est également de 90 %, refaites le calcul pour 139 cas négatifs au référentiel.
Comme d est élevé au carré au dénominateur, la précision devient très vite coûteuse.
Vérifiez ce que l’intervalle fournit réellement avant de vous fier à un petit chiffre. La formule utilise l’approximation normale, la moins fiable précisément là où opère l’IA médicale : performance attendue élevée et effectifs d’événements modérés. À p = 0,90, les effectifs issus de Wald tiennent bien à partir d’environ 70 événements, mais à 16 événements l’intervalle de Wilson obtenu s’étend de 0,670 à 0,976, plus large que nominal d’un côté et fortement asymétrique. Les petits N sont des valeurs de planification en ordre de grandeur, non des chiffres de protocole. Recalculez avec Wilson, une méthode exacte ou une simulation avant tout verrouillage.
Les méthodes récentes modifient la façon de dériver n_positive et n_negative, et peuvent modéliser l’incertitude sur la prévalence, mais aucune ne fait disparaître la fréquence sous-jacente des cas :
N_total ≈ max( n_positive / prévalence , n_negative / (1 − prévalence) )
Passons une cohorte dans cette formule, car c’est dans la décomposition que se loge le malentendu. Prenons 139 positifs et 139 négatifs à 10 % de prévalence. L’exigence sur les positifs implique 139 / 0,10 = 1 390 recrutements ; celle sur les négatifs n’en implique que 139 / 0,90 = 155. La plus grande gouverne : la cohorte compte donc 1 390 patients échantillonnés consécutivement, dont environ 139 positifs et 1 251 négatifs. On ne recrute pas 139 positifs en plus de 1 390 autres. Les 1 390 les contiennent déjà.
Ce surplus est précisément la raison d’être de l’enrichissement. Un ensemble cas-témoins enrichi de 139 positifs et 139 négatifs procure la même précision de sensibilité et de spécificité avec 278 recrutements au lieu de 1 390, soit un cinquième du travail. Ce qu’il ne procure pas, c’est tout ce qui dépend de la composition réelle : valeur prédictive positive, valeur prédictive négative, calibration, charge d’alertes et utilité en flux de travail varient avec la prévalence et exigent une cohorte représentative, une pondération appropriée ou une correction préspécifiée. L’enrichissement est un arbitrage, non une économie.
Après le calcul de base, majorez pour les entrées non évaluables, les référentiels manquants, l’attrition, les effets de grappe et de site, les mesures répétées, la multiplicité et toute revendication propre à un sous-groupe.
C’est la réponse à « faut-il tout réunir d’emblée ? » Non. Chaque étape pose une question différente, donc chaque étape emprunte une méthode différente aux travaux connexes ci-dessus, et ce n’est qu’ensuite qu’un chiffre apparaît.
Le tableau ci-dessous applique ce cadre à un produit hypothétique. On suppose un classifieur d’imagerie binaire, une sensibilité et une spécificité attendues de 0,90 au point de fonctionnement retenu, et une prévalence cible de 10 % dans la population d’usage prévu. Les étapes 0 à 3 sont des problèmes d’estimation, dimensionnés sur la précision. L’étape 4 est un test d’hypothèse contre une performance minimale acceptable, dimensionné sur une marge, un risque de première espèce et une puissance, avec sensibilité et spécificité comme critères co-principaux. L’étape 5 est également un test d’hypothèse, mais pour détecter une baisse plutôt que pour démontrer un plancher.
| Étape | Question, et méthode qu’elle appelle | Cas acceptable | Meilleur cas |
|---|---|---|---|
| 0. Faisabilité des données et des annotations | Le référentiel est-il fiable ? Dimensionnement de l’agrément sur un accord inter-lecteurs attendu de 0,85. | ±15 points, soit 22 cas en double lecture. Assez pour détecter une annotation mal définie, pas pour la caractériser. | ±10 points, soit 49 cas arbitrés. Dimensionner sur kappa ou ICC si l’annotation est ordinale ou continue. |
| 1. Preuve de concept | Un signal cliniquement pertinent existe-t-il seulement ? Dimensionnement de précision, volontairement lâche. | ±15 points, soit 16 positifs et 16 négatifs, environ 160 cas consécutifs. L’intervalle de Wilson obtenu s’étend de 0,670 à 0,976 : signal de faisabilité, jamais une revendication. | ±10 points, soit 35 positifs et 35 négatifs, environ 350 cas consécutifs. |
| 2. Prototype de développement | La performance tient-elle sur un jeu externe ou temporel mis de côté ? Dimensionnement de précision, plus calibration et bénéfice net si le modèle produit une probabilité. | ±10 points, soit 35 positifs et 35 négatifs, environ 350 cas d’une seconde source. | ±7 points, soit 71 positifs et 71 négatifs, environ 710 cas sur deux ou trois sources. Pour une sortie probabiliste, exécuter pmvalsampsize et retenir l’exigence la plus élevée. |
| 3. Première version de production, gel de conception | Le candidat gelé tient-il sur des cas consécutifs indépendants, et les utilisateurs peuvent-ils l’exploiter en sécurité ? Précision, plus facteurs humains, plus MRMC si la revendication porte sur l’amélioration des lecteurs. | ±7 points, soit 71 positifs et 71 négatifs, environ 710 cas, plus au moins 15 participants aux facteurs humains par population d’utilisateurs distincte. | ±5 points, soit 139 positifs et 139 négatifs, environ 1 390 cas, en prospectif et multicentrique, avec un pilote silencieux dans le flux réel. |
| 4. Étude pivot, dossier | Le dispositif dépasse-t-il un minimum préspécifié ? Test d’hypothèse plutôt qu’estimation : 0,90 attendu contre le minimum, alpha unilatéral 0,025, critères co-principaux. | Minimum acceptable 0,80, marge de 10 points, soit 163 positifs et 163 négatifs, environ 1 630 cas, pour une puissance conjointe de 90 %. | Minimum acceptable 0,85, marge de 5 points, soit 566 positifs et 566 négatifs, environ 5 660 cas. |
| 5. Post-commercialisation, changement maîtrisé | La performance a-t-elle baissé depuis l’autorisation ? Le même test inversé, l’hypothèse nulle étant que la performance vaut toujours 0,90. Alpha unilatéral 0,05, puissance 90 %. | Détecter une baisse de 5 points, soit 362 positifs par fenêtre de surveillance, environ 3 620 cas. Une dérive de 3 points reste invisible. | Détecter une baisse de 3 points, soit 950 positifs par fenêtre, environ 9 500 cas. |
Trois points méritent d’être énoncés clairement, car c’est là que la plupart des plans de données échouent.
Les effectifs sont des événements, pas des cohortes, et c’est dans la colonne cohorte que réside le coût. Estimer la sensibilité à ±5 points pour une performance attendue de 90 % exige 139 patients réellement atteints. À 10 % de prévalence, cela représente environ 1 390 patients échantillonnés consécutivement ; à 1 %, 13 900. Ce n’est généralement pas l’ambition mais la prévalence qui contraint une étude pivot.
Le changement de méthode est le moment où le coût bascule.
Rien dans ce tableau n’est une taille de jeu d’entraînement. C’est le seul chiffre que la méthode ne peut produire, et il vaut la peine d’expliquer pourquoi : un intervalle de confiance est une propriété d’un échantillon, tandis que l’adéquation du jeu d’entraînement est une propriété de la tâche, de sa difficulté, de la représentation disponible, de la qualité des annotations et de la performance requise. Il n’existe pas de formule. Il existe une mesure, exposée à la fin de cette section.
En pratique, les équipes ont tout de même besoin d’un chiffre d’ouverture pour négocier un accord de partage de données ; les points de départ approximatifs du domaine méritent donc d’être connus : un modèle binaire étroit en apprentissage par transfert est souvent tenté d’abord sur quelques centaines de cas indépendants, un prototype de développement sur quelques milliers issus de plusieurs sources, et un candidat de production sur l’ordre de la dizaine de milliers lorsque les entrées sont hétérogènes. Traitez chacun de ces chiffres comme une offre d’ouverture, à remplacer par votre propre courbe d’apprentissage à la première occasion. Ce sont les seuls chiffres de cet article qui ne sont dérivés de rien.
Multiplier les cas d’un même hôpital ne répare ni un scanner absent, ni un groupe démographique absent, ni un sous-type de maladie absent, ni une population d’utilisateurs absente, ni un facteur de confusion cliniquement important. C’est le correctif au meilleur rendement face au « le plus possible » : au-delà du point où la courbe d’apprentissage s’aplatit, l’unité de valeur suivante vient de données différentes, de meilleures annotations ou d’une exposition au risque réduite, et non de davantage de la même chose.
Le N agrégé masque les strates clairsemées. Un jeu de 50 000 cas comportant 40 exemples d’un sous-groupe revendiqué soutient une revendication sur la population et rien sur le sous-groupe. Dans une étude publiée de triage dermatologique, le critère de flux de travail disposait d’une puissance suffisante alors que les preuves de sous-groupe n’en avaient pas.
Deux conséquences en découlent. Davantage d’annotations bruitées aggravent l’échec au lieu de l’améliorer : un modèle entraîné sur un volume plus grand d’annotations imparfaites apprend l’erreur avec plus d’assurance, et la validation contre le même référentiel imparfait ne la révélera pas. L’arbitrage, la mesure de l’accord inter-évaluateurs et les référentiels en aveugle valent généralement mieux qu’un volume supplémentaire. Et le risque fixe le niveau d’exigence : décisions autonomes, triage à contrainte temporelle et recommandations thérapeutiques exigent des preuves plus solides, à exactitude égale, que de l’information d’assistance à faible risque.
La règle énoncée plus haut, ne jamais inférer la taille d’entraînement du calcul de validation, est facile à enfreindre sans s’en apercevoir. Une équipe calcule qu’il lui faut 139 cas positifs pour l’étude pivot, en déduit qu’une répartition 80/20 implique donc environ 700 cas au total dont 560 pour l’entraînement, et traite ce dernier chiffre comme une exigence. Il ne l’est pas. La formule a dimensionné un seul compartiment.
Les répartitions en pourcentage en sont le symptôme visible. Un 80/20 fixe fait du jeu de test une fonction de la quantité de données collectées par hasard plutôt que de la revendication à soutenir : à 500 cas, il produit un test sous-puissant ; à 100 000, il enfouit près de dix-neuf mille cas dans un jeu de test qui en demandait 1 390. Réservez d’abord la cohorte de test verrouillée, dimensionnée à partir de la revendication. Les données d’entraînement sont tout le reste, et vous continuez d’en acquérir jusqu’à ce que la courbe dise stop. Ces deux décisions ne se touchent jamais.
Deux ajouts valent l’effort. Tracez une courbe d’accord d’annotation à côté de la courbe d’apprentissage, car le plafond tient parfois au référentiel plutôt qu’au modèle. Et placez le prix de chaque tranche à côté de son gain projeté, ce qui transforme « faut-il acheter 5 000 cas de plus ? » en une question qui a une réponse. Les ajustements en loi de puissance permettent une extrapolation grossière, mais pas au-delà d’environ deux à trois fois la plage observée.
En suivant Riley et Collins (2023), tirez de l’ordre de 200 rééchantillons bootstrap des données de développement et réexécutez l’intégralité du pipeline de développement sur chacun, sélection de variables, réglage des hyperparamètres et choix du seuil compris. Ne réajuster que le modèle final est le raccourci courant, et il masque l’essentiel de l’instabilité. Appliquez tous les modèles obtenus aux mêmes individus, puis tracez, pour chaque individu, la prédiction du modèle d’origine face aux prédictions des modèles bootstrap.
Une diagonale resserrée signifie que le modèle est stable. Un nuage étalé verticalement signifie que le même patient pourrait obtenir 0,2 ou 0,6 selon la chance du tirage, et ce modèle n’est pas prêt quelle que soit son AUROC affichée. La variante la plus utile est l’instabilité de classification, c’est-à-dire la fréquence à laquelle chaque individu franchit le seuil de décision d’un rééchantillon à l’autre. Elle se traduit en une phrase qu’un responsable clinique comme un évaluateur comprennent immédiatement : avec un tirage d’entraînement différent, ce pourcentage de patients recevrait une recommandation différente.
Un modèle peut se trouver sur un plateau de la courbe d’apprentissage tout en restant instable, et il peut être parfaitement stable tout en restant sous la cible. Aucune des deux mesures ne remplace l’autre.
| Facteur | Effet sur le besoin en données | Réponse de planification |
|---|---|---|
| Autonomie et risque patient | Diagnostic autonome, choix thérapeutique ou décisions à contrainte temporelle exigent des preuves cliniques plus solides que l’information d’assistance à faible risque. | Augmenter les sites externes et les événements cibles ; envisager des études prospectives de résultats ou de non-infériorité ; solliciter tôt l’avis du régulateur. |
| Faible prévalence ou défaillances rares | L’exigence en événements positifs domine le recrutement total ; les défaillances de sécurité peuvent être trop rares pour une cohorte pré-commercialisation modeste. | Recourir à un enrichissement justifié pour la sensibilité, ajouter des preuves à prévalence naturelle pour la VPP et le flux de travail, et prévoir une surveillance post-commercialisation pour les préjudices rares. |
| Hétérogénéité des sites, dispositifs et flux | Un jeu monocentrique plus grand peut toujours manquer des variations de scanner, de laboratoire, de protocole, d’adressage ou d’utilisateur. | Privilégier de nouveaux sites, dispositifs et périodes plutôt que des cas répétés d’une même source ; mettre de côté des sites entiers quand c’est possible. |
| Revendications de sous-groupe ou d’extension d’usage | Chaque population, indication, modalité et sous-groupe important revendiqué exige une couverture crédible ; le N agrégé peut masquer des strates clairsemées. | Définir les strates soutenant la revendication avant la collecte et dimensionner les analyses de sous-groupes importantes, ou les qualifier de descriptives. |
| Bruit d’annotation et référentiel incertain | Des annotations imparfaites plus nombreuses peuvent amener le modèle à apprendre l’erreur avec assurance et biaiser la validation. | Investir dans l’arbitrage, la mesure inter-évaluateurs et la mise en aveugle du référentiel avant d’augmenter simplement le N. |
| Apprentissage profond depuis zéro | Les modèles à grande capacité en imagerie, signal ou langage exigent souvent des ordres de grandeur de plus qu’un modèle préentraîné ou tabulaire. | Recourir au transfert ou aux modèles de fondation lorsque c’est justifié, tracer des courbes empiriques, et prévoir des dizaines de milliers ou plus si la performance continue de progresser. |
| Images, patchs, trames ou consultations répétés | Ils augmentent les enregistrements bruts mais pas le nombre de patients indépendants au rapport de un pour un, et peuvent provoquer de graves fuites. | Séparer au niveau patient ou cas, et souvent site et période ; utiliser une analyse tenant compte des grappes et rapporter effectifs bruts et indépendants. |
| Interaction humain-IA | L’exactitude autonome n’établit ni que les utilisateurs interprètent les sorties en sécurité, ni que l’équipe améliore la performance clinique. | Ajouter des utilisateurs représentatifs, une validation des facteurs humains sur les tâches critiques, et une étude appariée de lecteurs ou de flux suffisamment puissante le cas échéant. |
La FDA avait autorisé plus de 1 400 dispositifs à IA à la mise à jour de sa liste en mars 2026, dont 331 pour la seule année 2025, le plus grand nombre en une année dans l’histoire de l’agence. Le dossier public de ces autorisations est la meilleure réponse disponible à « qu’ont réellement utilisé des équipes comme la mienne ? »
La réponse : des quantités très variables. Les jeux de développement divulgués dans les résumés récents vont de 1 338 cas à plus de 750 000 images, tandis que les cohortes d’évaluation indépendantes vont de quelques centaines à plusieurs milliers. Ce qui varie avec elles, c’est la revendication, la modalité, la prévalence cible, le flux de travail et le degré d’autonomie, non le stade de développement. À lire comme des exemples de structure d’évaluation, non comme des effectifs d’entraînement à copier.
| Dispositif et forme de la revendication | Données d’évaluation publiées | Ce que cela démontre |
|---|---|---|
| IDx-DR, détection autonome de la rétinopathie diabétique | 900 participants recrutés sur 10 sites de soins primaires ; 819 pleinement analysables face à un référentiel de centre de lecture en aveugle. | L’usage autonome a imposé un plan pivot multicentrique avec opérateurs novices, référentiel clinique, gestion de la qualité d’image et seuils préspécifiés. |
| OsteoDetect, détection assistée des fractures du radius distal | 1 000 images indépendantes pour la performance autonome, plus une étude multi-lecteurs multi-cas de 200 cas et 24 lecteurs. | Une revendication d’assistance ciblée a exigé à la fois la performance algorithmique et la preuve que les cliniciens s’amélioraient avec le dispositif. |
| Paige Prostate, aide au pathologiste pour la relecture de biopsies | Un jeu analytique de 728 lames à patients uniques, et une étude de lecteurs distincte débutant avec 610 lames lues par 16 pathologistes ; les lames de développement étaient exclues de la validation analytique. | Indépendance au niveau patient, séparation des preuves analytiques et de lecture humaine, et version logicielle verrouillée étaient au cœur du dossier. |
| CINA-CSpine, triage du rachis cervical au scanner | 1 338 examens pour l’entraînement et un jeu de validation indépendant de 328 examens (155 positifs, 173 négatifs) issus de 3 sources, avec données américaines et hors États-Unis et 4 fabricants de scanners sur 36 modèles. | Une revendication de triage ciblée s’est contentée de centaines de cas de validation indépendants, mais a délibérément couvert la variation de source, de géographie, de fabricant et de modèle. |
| Us2.ca, détection de l’amylose cardiaque en échocardiographie | 4 371 échocardiogrammes pour l’entraînement et 1 647 examens de validation indépendants (664 amyloses, 983 témoins) issus de 6 sites aux États-Unis et au Japon, avec des fournisseurs de données distincts. | L’évaluation d’une pathologie rare a été enrichie et multinationale ; entraînement et validation provenaient de fournisseurs distincts plutôt que d’une séparation aléatoire. |
| Annalise Enterprise CXR, triage multi-anomalies de radiographies thoraciques | Plus de 750 000 radiographies thoraciques d’entraînement et une évaluation consécutive indépendante de 3 252 cas issus de 4 réseaux hospitaliers américains, couvrant 5 anomalies. | Une revendication multi-anomalies plus large a utilisé des ordres de grandeur de données de développement en plus et une évaluation externe consécutive plus vaste. |
| Viz.ai ContaCT, triage scanner des occlusions de gros vaisseaux | L’autorisation de mise sur le marché de la FDA décrit une étude rétrospective de 300 images de scanner évaluant l’algorithme et sa fonction de notification face à deux neuroradiologues formés. | Une revendication de notification seule, en flux parallèle, ne remplaçant pas l’interprétation standard, a été soutenue par des centaines de cas rétrospectifs. |
| Caption Guidance, guidage d’acquisition pour utilisateurs novices en échocardiographie | Entraîné sur plus de 5 millions d’exemples de l’effet du déplacement de la sonde sur la qualité d’image ; l’étude pivot a fait examiner 30 patients chacun (240 au total) par 8 infirmières sans expérience préalable de l’échographie, avec relecture en aveugle par 5 experts, 98,8 % des examens étant de qualité diagnostique pour la taille et la fonction du ventricule gauche. | Volume de développement et preuves cliniques se mesurent dans des monnaies différentes. Des millions d’exemples d’entraînement ont tout de même produit une étude de 240 patients. |
Deux entrées méritent d’être soulignées, car elles brisent l’idée que « données d’entraînement » et « preuves » se mesurent dans la même monnaie. Caption Guidance a été entraîné sur plus de cinq millions d’exemples de déplacement de sonde et a produit une étude de 240 patients, parce que la revendication portait sur ce que des utilisateurs novices pouvaient accomplir, et qu’une telle revendication se dimensionne en utilisateurs et en patients. Viz.ai ContaCT illustre l’inverse : une revendication de triage par notification a exigé des centaines de cas rétrospectifs, tandis qu’une revendication diagnostique autonome à la même période a exigé une étude prospective de 900 participants sur 10 sites.
Pour un critère de triage du cancer à haute sensibilité, avec une sensibilité attendue p = 0,95, la même approximation normale donne environ 73 cancers indépendants pour un intervalle de ±5 points de pourcentage et 203 pour ±3 points. À 15 % de prévalence, cela implique environ 487 ou 1 354 patients consécutifs ; à 7 %, environ 1 043 ou 2 900, avant exclusions, structure en grappes, types de cancers multiples et exigences de sous-groupes. Et cela ne dimensionne que la sensibilité.
| Preuve | Échelle et résultat publiés | Ce que cela change dans le plan de données |
|---|---|---|
| Évaluation DERM du mélanome (2019) | 514 patients et 551 lésions biopsiées dans 7 hôpitaux britanniques, dont 125 mélanomes ; sensibilité rapportée de 100 % et spécificité de 64,8 %. La cohorte était blanche à 96,8 %, et 286 images de l’étude avaient servi à l’entraînement. | Preuve de faisabilité utile, mais le chevauchement partiel entre développement et évaluation et la représentation démographique limitée empêchent d’en faire une référence pivot verrouillée. |
| Étude DERM-003 CSC/CBC (2023) | 572 patients et 611 lésions dans 4 trusts du NHS, dont 47 CSC et 184 CBC. Planifiée autour d’au moins 45 CSC et 50 CBC, mais aucun des deux critères co-principaux d’AUROC supérieure à 0,90 n’a été atteint ; 96,9 % étaient de phototype Fitzpatrick I à III. | Atteindre un nombre d’événements planifié ne garantit pas le succès. Seuils préspécifiés, événements par type de cancer et couverture des phototypes restent contraignants. |
| Étude d’impact DERM en télédermatologie (2024) | 700 consultations et 867 lésions ; analyse per-protocole de 622 patients et 789 lésions, 67 lésions malignes et seulement 8 mélanomes. Le critère de flux disposait d’une puissance calculée sur 634 lésions ; 25 des 622 patients étaient de phototype IV à VI. | Quelques centaines peuvent suffire à un critère de flux tout en restant trop clairsemées pour des revendications sur le mélanome ou les phototypes foncés. Les budgets de critère et de sous-groupe doivent être séparés. |
| Référentiel Diverse Dermatology Images (2022) | 656 images confirmées par biopsie provenant de 570 patients, couvrant délibérément des phototypes variés et des maladies peu fréquentes ; les modèles dermatologiques évalués en externe étaient moins performants sur les phototypes foncés et les maladies rares. | Un jeu externe ciblé peut révéler des échecs qu’un corpus interne bien plus vaste dissimulait. Réservez des données de test riches en diversité. |
| Génération de preuves NICE HTG746 (2025, mis à jour en 2026) | DERM est utilisable sous conditions pendant une période de génération de preuves de trois ans ; le NICE exige des preuves supplémentaires d’exactitude et de capacité de service, ainsi qu’une relecture par un professionnel de santé pour les peaux noires ou brunes. | Les preuves de déploiement sont des preuves de cycle de vie. Utilisez une surveillance continue et stratifiée pour combler les incertitudes connues de population et de flux. |
Lues ensemble, ces études montrent que quelques centaines de patients peuvent tester un critère étroit et préspécifié, et qu’elles n’établissent rien quant à un minimum général d’entraînement. La leçon opérationnelle est concrète : répartissez le recrutement par type de cancer, phototype, site, dispositif et résultat de flux de travail, et prévoyez une génération de preuves post-commercialisation pour ce qui demeure incertain.
Les résumés de dispositifs décrivent des programmes qui ont réussi. Trois cas largement rapportés montrent l’autre face.
| Cas | Échelle et résultat publiés | Ce que cela change dans le plan de données |
|---|---|---|
| Validation externe du modèle Epic Sepsis (2021) | 38 455 hospitalisations chez 27 697 patients dans un système hospitalier universitaire américain ; sepsis dans 6,6 %. AUC 0,63 (IC 95 % 0,62 à 0,64), sensibilité 33 %, spécificité 83 %, VPP 12 %. Le modèle a manqué 1 709 des 2 552 cas de sepsis tout en alertant sur 18 % de toutes les hospitalisations. | Un très vaste corpus d’entraînement opérationnel ne s’est pas transféré à un nouveau site. Budgétez une validation externe propre au site et l’analyse de charge d’alertes qu’impose la prévalence naturelle. |
| Déploiement prospectif d’un système de rétinopathie diabétique en Thaïlande (2020) | Observations et entretiens avec des infirmières dans 11 cliniques ont révélé des tensions entre les seuils de qualité d’image du modèle et la qualité atteignable dans un environnement de dépistage à ressources limitées, ainsi que des contraintes de flux et de connectivité. | Les données recueillies en production ne sont pas celles sur lesquelles le modèle a été entraîné. Budgétez les cas non traitables, les rejets par le contrôle qualité et une étude de facteurs humains comme postes distincts. |
| Étude du volume d’entraînement d’un classifieur de pneumothorax (2022) | Entraîné sur jusqu’à 291 454 radiographies. La performance s’est améliorée rapidement de 2 000 à 20 000 images d’entraînement puis a continué de progresser plus lentement ; le test externe a utilisé 525 radiographies. | Acquérez les données par tranches et réajustez la courbe d’apprentissage après chacune. C’est la courbe, et non une plage publiée, qui indique quand la tranche suivante cesse de valoir son prix. |
La courbe d’apprentissage du pneumothorax est la réponse directe à « faut-il tout réunir d’emblée ? » Willemink et ses collègues décrivent la même forme de manière générale : la performance en vision par ordinateur croît approximativement de façon logarithmique avec le volume d’entraînement, ce qui signifie que chaque gain d’exactitude équivalent coûte multiplicativement plus de données que le précédent. Le même article note que si des algorithmes généralisables peuvent exiger des jeux de centaines de milliers d’exemples, des jeux relativement petits, de l’ordre de la centaine, peuvent suffire pour des applications et des populations ciblées. Restreindre l’usage prévu est un moyen légitime de réduire l’exigence en données, souvent le moins coûteux.
Le modèle Epic Sepsis est la réponse à « une grande quantité de données suffit-elle ? » Un modèle propriétaire déployé dans des centaines d’hôpitaux américains, développé sur de très grands volumes de données opérationnelles de DPI, a obtenu une AUC de 0,63 et une sensibilité de 33 % en validation externe. Le volume n’a pas produit le transfert. Ce sont la composition des cas propre au site, les pratiques de documentation et la définition de l’étiquette qui l’ont fait.
L’échelle d’une preuve de concept ne prédit pas la généralisation à l’échelle de production. Un modèle de recherche sur les fractures du poignet chez l’enfant a utilisé 395 patients uniques, répartis en 229 pour l’entraînement, 41 pour le réglage et 125 pour le test, avec de bonnes performances. Cela démontre qu’une preuve de concept étroite peut fonctionner avec quelques centaines de cas. Cela ne dit rien de la robustesse multicentrique ni de la suffisance réglementaire. Le bon usage des preuves de concept est la génération de preuves de référence pour les étapes ultérieures : faisabilité des annotations, taxonomie des erreurs, première courbe d’apprentissage et contrôle de fuite. Ce n’est pas une version réduite de l’étude pivot.
Le N d’entraînement est une propriété de la tâche, non du calendrier. Mesurez-le par des courbes d’apprentissage plutôt que de le déclarer à l’avance, et traitez toute règle empirique publiée sur le volume d’entraînement, y compris les chiffres d’ouverture cités ici, comme une valeur de négociation à remplacer par votre propre courbe.
Le fondement réglementaire, c’est la suffisance, l’indépendance et la couverture de la revendication. Pas le volume. Trois questions décident de l’adéquation d’un jeu de données : est-il suffisant en quantité et en qualité pour ce dispositif et cet usage prévu ; les preuves de test sont-elles réellement indépendantes du développement aux niveaux patient, site et acquisition qu’exige la revendication ; et les preuves couvrent-elles chaque revendication de l’énoncé d’usage prévu, y compris chaque sous-groupe, type de site, dispositif et population d’utilisateurs qui y figure. Un jeu de données peut être très grand et échouer aux trois.
Un chiffre précis et défendable exige tout ce qui suit, et il change dès que l’un de ces éléments change.
Revendication et contexte. L’énoncé d’usage prévu en une phrase : population, entrée, sortie, utilisateur, cadre et action clinique. Juridiction, classification du dispositif et voie de dépôt. Dispositif autonome ou d’assistance, et ce qui se produit en cas d’erreur. Revendication portant sur la performance analytique, l’exactitude diagnostique, l’amélioration des lecteurs, le changement de prise en charge ou le résultat patient.
Statistiques. Prévalence de la pathologie cible dans la population d’usage, et caractère naturel ou enrichi de l’étude. Métrique principale, performance ou taille d’effet attendue, et largeur d’intervalle, marge de non-infériorité ou puissance requises. Sous-groupes devant porter leur propre revendication. Taux attendu de cas non évaluables, attrition, structure en grappes et multiplicité.
Données et ingénierie. Modalité, unité de prédiction et véritable unité d’indépendance. Nombre de sites, de systèmes d’acquisition et d’opérateurs concernés. Processus d’annotation et de référentiel, y compris qui arbitre et comment les désaccords sont résolus. Classe de modèle, et disponibilité d’un préentraînement sous licence commerciale. Politique en cas d’échec de traitement. Base légale de chaque jeu de données : consentement, usage secondaire, usage commercial, transfert et conservation pour réentraînement.
Flux de travail. Flux clinique, groupes d’utilisateurs et population de validation des facteurs humains. Ce que la fenêtre de surveillance post-commercialisation doit pouvoir détecter, et à quelle vitesse.
C’est à l’étape 9 que les huit précédentes échouent discrètement. Un budget de données ne fonctionne que si l’organisation peut prouver ce qui est entré dans chaque jeu de données, quand, de qui, sous quelle autorisation et avec quelle provenance d’annotation, et peut encore le prouver deux ans plus tard lorsqu’une modification exige des données de test isolées. C’est un problème d’outillage et de processus plutôt qu’un problème de statistiques, et c’est le sujet de l’article compagnon sur la manière dont MAEA résout le problème du cycle de vie des données.
Si votre équipe dimensionne une étude de validation ou doit défendre un budget de données, ModAstera peut examiner le critère, la méthode de dimensionnement et la matrice de couverture avant le début du recrutement.
Il n’existe pas de chiffre unique. Il existe un budget de données, un calendrier et un critère d’évaluation qui rendent enfin ce chiffre calculable. Rapport complet sur le dimensionnement des preuves en IA médicale réglementée.
Un guide pratique pour vérifier si un système d’IA médicale verrouillé reste transférable au-delà de ses données de développement, avec la conception de cohorte, les seuils, les sous-groupes, le flux de travail et l’analyse des échecs.
Un guide pratique de la recherche d’images en pathologie : représentations de lames entières, classement des candidats, revue par des experts, contexte des sources, décisions de cohorte et évaluation pertinente.
