2024年9月，美国核管会（NRC）与英国核管理办公室（ONR）和加拿大核安全委员会（CNSC）联合发布了一份题为《在核应用中开发人工智能系统的考虑因素》的人工智能（AI）原则报告，概述了核领域使用和管理AI的潜在要求。报告表示，首要任务是对系统进行不间断监控，以确保安全性和完整性，建立系统边界以定义AI系统的范围，以及在核应用中以模块化方式对待AI。

报告指出，AI系统的安全和稳定运行可以通过三种方式实现：实施边界限制，如限制数据可用性以优化资源；限制由传统系统控制的软件输入和输出，以建立对更广泛架构的信任；实施“多样化、冗余和隔离的系统”，以最大限度地减少意外行动。

报告称，对AI系统的持续监控可防止核能设备故障和维护系统完整性，同时检测潜在的异常情况。这种监控包括应用异常检测算法，其是一种用于识别和警示来自对手的潜在攻击或追踪模型准确性等关键指标的机制。

此外，三家机构一致认为，在模块化层面上应用AI技术，或将系统划分为具有“明确功能”的“较小、独立的模块”，相较于单一的AI系统，可能带来更大的益处。因为这样能将任何问题或错误局限在问题模块之内，避免了对整个系统运行的总体功能造成不利影响。

信息来源：

https://www.nrc.gov/docs/ML2424/ML24241A252.pdf

https://www.nrc.gov/ai/externally-focused.html

https://mp.weixin.qq.com/s/Gd-QIUR-sNmuwQqOaCKgOA