博客

人工智能/机器学习医疗器械的风险管理

Timothy Davison, PhD “I am passionate about applying my experience in software, AI and IVD product development with a quality mindset to support the introduction of new medical technologies that improve patients’ lives."
Ra'na Saleem

2021年7月,英国标准协会BSI宣布其正在制定将ISO 14971应用于人工智能(AI)和机器学习(ML)的指南文件。随后于2022年4月发布了共识报告AAMI CR34971:2022,即ISO 14971在人工智能和机器学习中的应用指南。

CR34971:2022旨在与ISO 14971:2019《医疗器械风险管理在医疗器械中的应用》结合使用,与ISO/TR 24971:2020《医疗器械-ISO 14971应用指南》共享其结构。编写标准是为了支持制造商设计产品,一些标准成为协调标准,并在法规框架内发挥作用,而技术报告(TR)和共识报告(CR)则描述了最佳实践,但不会因其开出不符合项。共识通常意味着可能存在不同的意见或方法,但这是大多数人可以达成一致的核心;而在新的和不断发展的科学中,它是良好实践的宝贵基准。

风险管理是医疗器械产品开发生命周期的基石,该共识报告(CR)旨在提供一个框架,用于识别和解决产品生命周期各个阶段可能出现的与AI/ML相关的特有危险源、危险情况和潜在伤害。

现在,撇开形式不谈,这个新的共识报告为那些在医疗器械开发中使用了AI和ML的人提供了什么内容?也许最有用的是附录B及其包含了识别安全相关特征的风险管理示例(从危险源到风险控制措施)的段落,详细覆盖了以下领域:

1. 数据管理
2. 偏差
3. 数据存储/安全/隐私
4. 过度信任
5. 自适应系统

其中一些领域是AI/ML特有的,其他一些领域则是医疗器械开发人员熟悉的内容;然而,在使用AI/ML时,每种方法都会带来新的复杂性,让我们更详细地了解一下…

数据管理是一个广泛的领域,但CR34971要求考虑数据完整性、一致性和正确性等具体问题。与性能危险、适用性和泛化相关的数据质量和模型复杂性的含义是什么?这将取决于您器械的具体情况,而这里为您提供了每个器械的示例,并提示您将这些问题作为风险管理活动的一部分来考虑。例如,使用不正确、不完整、主观、不一致和/或非典型数据可能导致AI/ML模型性能恶化,以及与这些数据质量问题相关的危险,风险管理过程中必须包括数据属性的假设,包括用于减轻其对性能和安全影响的控制措施。该章节还提出了“偏差/方差权衡”问题,这是开发AI/ML模型时的一个基本问题,以及在模型开发中考虑复杂性控制的必要性。

偏差考量是医学和科学研究以及医疗器械产品开发生命周期所需的统计严谨性的最基本支柱之一,在CR34971中受到了适当的关注。注意到偏差可能对性能同时产生积极和消极的影响,详细讨论了能够具体影响AI/ML模型的几种类型的偏差——选择偏差、内隐偏差、群体归因偏差和实验者偏差。该章节重点介绍缺失数据、样本偏差(非随机收集的数据)和覆盖率偏差(数据与目标人群不匹配)如何导致选择偏差以及对产品安全性和有效性的潜在风险。作为消减措施,建议在数据收集结束时进行验证,以确保数据集适当分布。当然,器械制造商必须考虑并评估偏差如何在开发阶段之外引入危险和危险情况。例如,应评估确定风险水平决策器械的人机界面设计,以确保报告计算风险的方法不会引入偏差并过度影响使用者。

由于忽视或忽略数据存储/安全/隐私会带来业务和合规风险,因此数据存储/保密/隐私已经成为所有组织关注的焦点。AI/ML医疗器械的特殊性是什么?在网络安全方面,CR列举了一个对抗性攻击对医学图像分类影响的例子,该攻击可能会导致图像发生细微变化,从而产生完全不同的高置信度分类。虽然将猫误分类为牛油果非常好笑,但其影响远大于将猫归类为牛油果的危害,而这样干的工具是一样,且可在网上免费获得。