‍

    国家药品监管部门从2015年起陆续出台了《医疗器械软件注册技术审查指导原则》《医疗器械网络安全注册技术审查指导原则》《移动医疗器械注册技术审查指导原则》《深度学习辅助决策医疗器械软件审评要点》等审评指导原则，为我国医疗器械软件上市许可提供了明确的指导路径，原则中提出，验证与确认为医疗器械注册过程中的重要步骤。据调研，目前医疗器械软件验证环节主要依据是《GB/T 25000.51-2016 系统与软件工程 系统与软件质量要求和评价(SQuaRE) 第51部分：就绪可用软件产品(RUSP)的质量要求和测试细则》（以下简称《细则》），对于审评要点中提到的安全、移动互联网、云计算等新技术服务能力、AI性能指标等尚未形成完备的测试规程，亟须依据最新法规许可要求和新技术发展特点完善智能化医疗器械软件评测体系。

    加强质量测试能力　在《细则》体系框架下创新测试方法，具体从软件功能性、性能、兼容性、易用性、可靠性、信息安全性、维护性、可移植性八个维度开展测试。同时，在测评过程中将重点关注软件性能效率（并发用户数、响应时间、吞吐量、资源占用率）和信息安全性（数据隐私、访问控制、风险管理、信息安全等）。

    开展医疗云服务评测　随着云计算的发展，云计算服务正逐渐成为新型基础设施，中国信息通信研究院已经在云计算领域积累了完备的测试能力，从2013年启动可信云评测，目前已建立云计算基础服务和产品评估、专项能力评估、可用性监测以及云保险等在内的综合评估体系。在不同的应用场景中，云服务的可用性、可靠性、质量指标有很大差异。针对智能化医疗器械软件，需要在云计算共性技术评估指标和评估方法的基础上，结合具体的医疗应用场景，创建智能化医疗软件云服务能力评测体系。

    构建AI软件性能指标　医疗AI软件评测结果参考医疗器械软件临床试验评价体系，有真阳性、假阳性、真阴性、假阴性四类结果（如表1所示）：

    真阳性［True positives（TP）］：标准数据集为阳性、AI产品识别结果也为阳性；

    假阳性［False positives（FP）］：标准数据集为阴性、AI产品识别结果为阳性；

    真阴性［True negatives（TN）］：标准数据集为阴性、AI产品识别结果也为阴性；

    假阴性［False negatives（FN）］：标准数据集为阳性、AI产品识别结果为阴性。

    基于上述预测结果，重点围绕临床试验常用的性能指标（见表2），依据《深度学习辅助决策医疗器械软件审评要点》提到的“假阳性/假阴性、重复性/再现性、鲁棒性/健壮性”等性能指标，构建智能化医疗器械软件‍AI测评体系。

    研究评测应用场景　智能化医疗软件有很多的应用场景，针对不同病种，软件需要的训练数据以及最终的输出结果有很大的差异，比如眼底糖网筛查是通过对眼底影像的读取，辅助医生发现糖网病变，进行早期干预，那该类产品重点关注的是糖尿病性视网膜病变分类、病灶的检出等。肺结节影像诊断主要功能是对肺部影像的读取处理、肺结节的检出、良恶性的判断。如何评判糖网眼底筛查和肺结节影像诊断则需要采用不同的产品性能测试方案，我们将探索性地开发具体病种（肺结节诊断、眼底筛查、心脏MRI、冠动脉CTA、心电生理信号、CT骨折、脑MRI和CT肝病）诊断情境下AI医学软件产品效能，研究制定应用场景产品性能评测体系。