《影像超声人工智能软件(流程优化类功能)审评要点》适用于影像超声产品中流程优化类人工智能软件功能(以下简称超声流程优化AI功能)的注册。此类软件功能通常集成于影像超声设备中,由具有相应超声诊断资质和能力的医生使用。超声流程优化AI功能主要实现定位标准切面、生理结构识别与分割、自动测量、诊断流程自动化等,可起到减少医生重复劳动、提高效率等作用。目前多用于妇产科胎儿、心脏的超声检查和频谱多普勒检查,也见于实质器官、肌骨、神经的检查,少见于彩色多普勒检查。
《影像超声人工智能软件(流程优化类功能)审评要点》重点关注产品技术要求、算法基本信息、风险管理、需求规范、数据质控、验证与确认等。
其中,产品技术要求主要关注规格信息、性能指标和附录。规格信息需明确超声影像输入要求,如超声机型、探头、成像参数、检查方式、检查部位、影像形式等。性能指标以人工智能软件功能为单位,明确临床功能(含输入输出)、使用限制、运行环境(若适用)、性能效率(若适用)等要求。附录需提供典型用户界面图片,明确采用人工智能算法的功能模块。
超声流程优化AI功能及所用算法虽然仅在影像超声检查的特定环节发挥作用,但超声功能具有多样性,检查流程具有复杂性,故需充分了解此类功能及所用算法的基本信息,以判断其风险。《影像超声人工智能软件(流程优化类功能)审评要点》要求,算法基本信息应分别描述功能信息和算法信息,并列举了常用功能模块及其审评关注点和功能设计建议。例如,生理结构识别功能需明确可识别生理结构的极限尺寸、是否可从不同角度的切面中识别同一结构等。
由于超声流程优化AI功能软件通常由经过充分培训的医生使用,主要起优化流程、提高效率的作用,使用风险往往相对较低,所以审评中重点关注优化流程、预期用户、算法对于软件风险的影响。其中,优化流程需考虑流程的复杂程度、使用广泛性,以及此超声流程优化AI功能对现有流程的影响程度;预期用户需具备相应资质,但更加关注实际诊断能力,若算法出现错误可否及时发现;算法需保证各类提示信息突出显示并易于识别。
同时,《影像超声人工智能软件(流程优化类功能)审评要点》提出,算法需求规范要明确算法训练集需求和算法性能需求。算法训练数据宜纳入一定比例的阴性样本,以提高鲁棒性和泛化能力。算法性能需针对不同算法类型(分类、分割、多标签)给出评估指标,并根据产品特点制定评估指标的限值。
针对影像超声变异影响因素多、数据层级多、处理实时动态影像的特点,《影像超声人工智能软件(流程优化类功能)审评要点》要求,数据质控和验证确认需考虑各环节影响因素,包括机型、探头、成像参数、检查方式、扫查角度/切面/深浅、成像质量不佳或范围不足、流行病学分布、预期应用场景、易混淆图像、有影响的身体状态或疾病、植入物、先天或后天身体结构异常等。数据层级考虑“患者—结构—切面—图像/图像序列”层级关系,不同功能的算法性能评估重点关注层级可能有所差别。对于实时处理超声图像的功能,准确性可通过离线方式验证,实时性须通过在线方式验证。用于提高效率的功能需开展效率提高的定量验证,建议采用多阅片者多病例(MRMC)研究的方式验证。