En juillet 2021, l'organisme de notifiée britannique BSI annoncait qu'il publierais des directives dans le cadre de la mise en application de la norme ISO 14971 à l'intelligence artificielle (IA) et à l'apprentissage automatique (AA). Cette annonce a été concrétisée par la récente publication, en avril 2022, du rapport de consensus AAMI CR34971:2022, Guidance on the Application of ISO 14971 to Artificial Intelligence and Machine Learning.
Conçu pour être utilisé conjointement avec l'ISO 14971:2019 (Dispositifs médicaux - Application de la gestion du risque aux dispositifs médicaux), le CR34971:2022 partage sa structure avec l'ISO/TR 24971:2020 Dispositifs médicaux - Guide pour l'application de l'ISO 14971. Les normes sont rédigées pour aider vous aider à concevoir des produits, certaines normes deviennent des normes harmonisées et se voient donc désormais attribuer un rôle dans le cadre réglementaire, les rapports techniques (TR) et les rapports de consensus (CR) décrivent les meilleures pratiques, mais une non-conformité ne sera jamais soulevée à leur encontre. Le consensus indique généralement qu'il peut y avoir des opinions ou des approches divergentes, mais qu'il s'agit du noyau sur lequel la majorité peut s'accorder ; cependant, il s'agit d’un support judicieux en matière de bonnes pratiques.
La gestion des risques est la pierre angulaire du cycle de vie d'un dispositif médical. Ce rapport de consensus vise à fournir un cadre pour identifier et prévenir les situations dangereuses et les dommages potentiels strictements relatifs à l'IA/AA, qui peuvent survenir à toutes les étapes du cycle de vie de votre produit.
Cela étant dit, qu’est-ce que ce nouveau rapport de consensus vous apporte si vous utilisez l'IA et le AA dans le développement de dispositifs médicaux ? La partie la plus utile est sans doute l'annexe B et ses sous-sections qui contiennent des exemples de gestion des risques concret (des dangers aux mesures de contrôle des risques) sur l'identification des caractéristiques liées à la sécurité, qui couvrent les domaines suivants de manière plus détaillée :
1. Gestion des données
2. Bias
3. Stockage/sécurité/confidentialité des données
4. Confiance excessive
5. Systèmes adaptatifs
Alors que certains de ces domaines sont spécifiques à l'IA/AA, d'autres sont les habituels casse-tête familiers des développeurs de dispositifs médicaux ; pourtant chacun d'entre eux apporte des complications nouvelles lorsqu'on travaille avec l'IA/AA, examinons-les plus en détail...
La gestion des données est un vaste domaine, mais le document CR34971 souligne la nécessité de prendre en compte des questions spécifiques telles que l'exhaustivité, la cohérence et l'exactitude des données. Quelles sont les implications de la qualité des données et de la complexité du modèle en ce qui concerne les risques de performance, l'applicabilité et la standardisation ? Cela dépendra des spécificités de vos dispositifs, mais vous trouverez ici des exemples de chacun d'entre eux et vous serez invité à prendre en compte ces questions dans le cadre de vos activités de gestion des risques. Par exemple, l'utilisation de données incorrectes, incomplètes, subjectives, incohérentes et/ou atypiques peut entraîner une détérioration des performances du modèle AI/AA. Les dangers associés à ces problèmes de qualité des données et aux hypothèses sur les propriétés des données doivent être inclus dans le processus de gestion des risques, y compris les mesures de contrôle utilisées pour atténuer leur impact sur les performances et la sécurité. Cette section soulève également la question du "compromis biais/variance", une question fondamentale lors du développement de modèles AI/AA, et la nécessité d'envisager le contrôle de la complexité dans le développement de modèles.
La prise en compte du biais, est l'un des piliers les plus important en termes de rigueur statistique nécessaire à la recherche médicale et scientifique, et au cycle de vie du développement de produits. Il reçoit un éclairage sur le sujet dans le document CR34971. Tout en notant que le biais peut avoir des effets positifs et négatifs sur les performances, toute une série de types de biais pouvant avoir un impact spécifique sur les modèles IA/AA est examinée en détail - biais de sélection, biais implicite, biais d'attribution de groupe et biais de l'expérimentateur.
Cette section met en évidence la façon dont les données manquantes, les biais d'échantillonnage (données non recueillies de façon aléatoire) et les biais de couverture (données ne correspondant pas à la population cible) peuvent entraîner un biais de sélection et des risques potentiels pour la sécurité et l'efficacité du produit. Comme mesure d'atténuation, il est recommandé d'effectuer une vérification à la fin de la collecte des données, afin de s'assurer que l'ensemble des données est distribué de manière appropriée. Bien sûr, les fabricants de dispositifs doivent considérer et évaluer comment le biais peut introduire des risques et des situations dangereuses au-delà des phases de développement. Par exemple, la conception de l'interface utilisateur d'un dispositif de prise de décision qui détermine les niveaux de risque, doit être évaluée, pour s'assurer que le moyen de signaler le risque n'introduit pas de biais et n'influence pas l'utilisateur.
Le stockage/sécurité/confidentialité des données est déjà au premier plan de l'attention de toutes les organisations, en raison des risques commerciaux et réglementaires associés au fait de les ignorer ou de les négliger. Quelles sont les particularités des dispositifs médicaux IA/ML ? En ce qui concerne la cybersécurité, le CR34971 cite un exemple de l'impact d'une attaque contradictoire contre un classificateur d'images médicales, avec le potentiel de changements subtils de l'image résultant en des classifications complètement différentes avec une confiance élevée. Alors que la classification erronée d'un chat en guacamole est très amusante, les implications sont bien plus importantes que les préjudices associés à la classification erronée d'un chat en guacamole, mais les outils pour y parvenir sont les mêmes, et librement disponibles en ligne.
From https://github.com/anishathalye/obfuscated-gradients
La confiance excessive se produit lorsque les utilisateurs se fient à la technologie au-delà de ses capacités et en deviennent trop dépendants, au point d'introduire un risque pour le patient. Le document CR34971 présente différents scénarios dans lesquels ce phénomène peut se manifester, ainsi que la nécessité d'une surveillance post-production pour identifier le moment où il se produit, afin que des mesures appropriées puissent être prises. Un ajout intéressant à cette section est la suggestion que la divulgation de la confiance dans la performance de l'IA/AA pourrait être utilisée comme une mesure de contrôle du risque de confiance excessive, dans la mesure où elle fixerait et ancrerait l'attente de l'utilisateur quant à la performance du dispositif. L'efficacité de cette mesure pourrait être évaluée et quantifiée dans le cadre des évaluations de la convivialité pendant le développement et contrôlée après la production.
Les systèmes adaptatifs, qui ont la capacité de continuer à apprendre à partir de nouvelles observations après l'installation, contrairement aux systèmes logiciels traditionnels qui ne changent pas avec le temps, méritent une attention particulière, car ils représentent une capacité unique des systèmes IA/AA. Bien que tous les systèmes IA/AA ne soient pas conçus pour cela, le document CR34971 recommande des processus d'auto-validation, de retour en arrière et de validation post-commercialisation, entre autres options, pour se protéger contre les risques encourus par les systèmes de dispositifs médicaux adaptatifs dotés de cette capacité.
Un élément clé du processus de gestion des risques est l'évaluation du risque résiduel global. Ce processus peut être difficile pour n'importe quel dispositif, mais l'utilisation de l'IA/ML ajoute des défis supplémentaires. Heureusement, il fournit quelques suggestions sur la manière de réaliser cette évaluation. Les résultats algorithmiques, l'impact des seuils de décision/prédiction et le choix des tests d'équité et des mesures de performance doivent être documentés et justifiés, avec une tentative de quantifier les risques résiduels résultant de ces choix. L'explicabilité des résultats et, si possible, les informations relatives à la pondération des caractéristiques doivent être documentées de manière appropriée pour toutes les parties prenantes, qu'il s'agisse des utilisateurs, des auditeurs ou du grand public.
Bien que nous n'ayons abordé que quelques domaines couverts par le CR34971, il y a manifestement beaucoup à intégrer en ce qui concerne la gestion des risques des dispositifs médicaux IA/AA. Ce rapport de consensus aide à mettre en évidence les risques liés à l'IA/AA, des outils pour les atténuer ainsi qu'un cadre, similaire à celui de l'ISO/TR 24971:2020, pour formaliser le tout dans le processus de gestion des risques. Compte tenu du nombre de dispositifs médicaux basés sur l'IA/AA qui accèdent au marché international, et de nombreux autres en cours de développement, ce rapport de consensus est bienvenu pour l’ensemble des fabricants de l’industrie.
Vous trouverez plus d’informations sur le site suivant