首页
>
资讯
>
BPOG 发布 AI 验证指南,将 AI 生命周期与验证 V 形图对标
出自识林
BPOG 发布 AI 验证指南,将 AI 生命周期与验证 V 形图对标
2025-07-09
7月1日,BioPhorum发布了一份《在受监管的制药环境中实施AI系统》的指南文件,为制药行业在良好生产规范(GxP)环境下应用AI系统提供指导。
随着AI和机器学习(ML)技术在制药行业的广泛应用,药企纷纷接入的同时,AI系统的复杂性和数据驱动特性给传统的计算机系统验证(CSV)带来了新的挑战。目前的监管部门官方文件当中,框架上可供参考的是FDA于1月份发布的《使用人工智能支持药品和生物制品监管决策的考量》,具体实施案例可参考EMA 5月份发布的首个基于AI的创新药物开发方法的认证意见。最新的是刚刚发布的欧盟GMP《附录22:人工智能》指南草案。
非官方文件当中,BioPhorum这份AI指南是继ISPE的GAMP 5第二版附录D11关于AI和ML的内容之后又一重要参考。
指南指出,AI系统与传统计算机系统的主要区别在于其基于数据的学习模式和对训练数据的高度依赖。AI模型的输出是通过训练数据集学习得到的,而非通过明确的编程逻辑。这种特性使得AI系统在数据质量、数据规模、数据漂移(Data Drift)和模型可解释性等方面面临独特的验证挑战。
指南提出了一个AI系统生命周期,包括目的和范围的设定、数据管理与治理、算法选择与模型设计、模型整合与部署、监控与评价以及变更控制等关键阶段。每个阶段都详细列出了需要执行的具体活动和注意事项。指南还将AI生命周期与经典的验证V形图对标。识林翻译如下,供参考(点击放大查阅):
指南还将上述生命周期与FDA指南和GAMP 5提供的模型进行对标,药企可以直观对比当前最前沿的AI监管框架的异同,并创建自有的AI验证流程。下表也已翻译,供参考:
FDA器械生成式AI生命周期模型
| GAMP 5模型
| 本文档章节
| FDA的AI使用监管决策指南
|
规划与设计
| 概念:
|
|
|
| 业务需求和机会
| 5 AI模型的目的和范围
| 步骤1:定义关注的问题
步骤2:定义使用场景(CoU)
|
数据收集与管理
| 数据获取与选择
| 6 数据管理与治理
|
|
| 项目:
|
| 步骤4:制定计划以建立AI模型的可信度
|
模型构建与调试
|
| 7.1 需求和质量标准
| a. 描述模型及其开发过程
|
模型需求和质量标准
| i. 描述模型
|
模型设计与选择
|
数据准备
| 7.4.1 特定算法的数据准备
| ii. 描述用于开发模型的数据
|
确认与验证
| 模型训练
| 7.4.4 模型训练、选择与优化
| iii. 描述模型训练
|
模型选择(包括比较)
| 7.4.4 模型训练、选择与优化
| 步骤5:执行计划
|
模型测试
| 7.4.5 模型测试
|
模型接受与发布
| 8.1 系统接受与发布
| 步骤6:记录结果
|
模型部署
| 模型集成
| 8.2 模型集成与部署
| 步骤5:执行计划
|
部署策略
| 8.2.2 打包与部署
|
| 运行:
|
|
|
操作与监控
| 监控与维护(8.2.3)
| 9 监控与评估
|
|
持续监控(9.1)
| 9.1 监控与评估
|
更新与再训练
| 9.2.3 更新与再训练
|
真实世界性能评估
| 评估与维护
| 9.2 评估与维护
| 步骤4/b. 描述模型评估过程
步骤7: 确定AI模型对CoU的适用性
|
反馈与持续改进
| 9.4 反馈与持续改进
|
|
运行变更管理
| 10 AI变更控制
|
|
独立阶段
| 风险管理
| 4 风险管理
| 步骤3:评估AI模型风险
|
指南文件的另一大特点在于系统性阐述了针对AI系统的变更控制。由于AI不断学习和迭代的特殊性,其变更控制将与传统的监管对象(工艺、仪器、设备等等)迥异。指南描述了变更分类、变更范围识别、变更评估、变更授权、变更执行、变更文档记录以及变更效果监控等步骤。其中,变更分类包括标准变更、正常变更和紧急变更。每种变更类型都有相应的控制程序。对于紧急变更,需要快速响应并确保变更过程符合合规要求。变更文档记录要求详细记录变更的各个方面,包括变更的原因、影响范围、测试结果和最终的批准状态。
在指南末尾的结论部分,BioPhorum 总结了AI技术在制药行业应用的现状与未来发展方向。该部分强调,AI与ML系统因其数据驱动特性、潜在的非确定性行为、复杂架构以及对持续监控的需求,使得在GxP监管框架下的验证工作必须采取定制化的方法。这不仅凸显了AI技术的独特性,也明确了在制药行业应用AI时,不能简单套用传统CSV的模式,而应根据AI系统的特性进行针对性的验证策略制定。
结论部分还提出了未来工作的方向,包括为现有的GxP法规提供针对AI/ML系统的具体应用指导,开发专门的AI验证框架,以及提供关于AI应用风险分类的明确指导等。同时,国际间AI验证标准的协调也将是未来工作的重要方向,这有助于消除跨国制药企业在不同市场应用AI技术时面临的监管差异,促进全球制药行业的创新与发展。
识林-实木
识林®版权所有,未经许可不得转载
适用岗位: - IT:负责计算机化系统和人工智能模型的技术实施和维护,确保系统的安全性和数据完整性。
- QA:监督人工智能模型在GMP环境中的使用,确保其符合质量标准和法规要求。
- 研发:参与人工智能模型的选择、训练、验证和测试,确保模型适用于研发流程。
- 生产:在生产过程中使用人工智能模型时,确保其符合生产标准和患者安全要求。
工作建议: - IT:与QA和研发团队合作,确保人工智能模型的技术实施符合GMP要求,包括数据保护和访问控制。
- QA:制定和审核人工智能模型的质量控制流程,包括测试数据的独立性和模型性能的监控。
- 研发:在模型开发过程中,与数据科学家合作,确保模型的训练和验证符合GMP原则。
- 生产:在使用人工智能模型辅助生产决策时,确保有适当的人员培训和监督机制,以符合HITL原则。
适用范围: 本文适用于欧盟GMP框架下,涉及使用人工智能模型的计算机化系统,特别是在药品和活性物质生产中对患者安全、产品质量或数据完整性有直接影响的关键应用。适用于通过数据训练而非显式编程获得功能的机器学习模型,不包括动态模型和生成性AI及大型语言模型。 文件要点总结: 本文强调了在GMP环境中使用人工智能模型时,必须确保模型的确定性输出和独立测试数据集,以保障患者安全、产品质量和数据完整性。文档详细阐述了模型的预期用途、验收标准、测试数据的选择和独立性、测试执行、可解释性和置信度等关键方面。特别指出,模型的验收标准不应低于其所替代流程的性能,且在测试中应避免使用生成性AI生成的数据。此外,文档还强调了模型操作中的变更控制、配置控制和系统性能监控的重要性,以及在人机交互环节中保持人类审查的必要性。这些要求旨在确保人工智能模型在GMP环境中的合规使用,同时保持其性能和安全性。 以上仅为部分要点,请阅读原文,深入理解监管要求。
|