数字技术与基础设施

OpenAI公开大模型四层安全监测体系并更新《模型规范》

日期:2026-11-10

|  来源:【字号:大 中 小】

2026年10月29日,OpenAI披露两项面向前沿模型安全的重要举措:一是发布《我们如何检测前沿模型的对齐失范行为》文章,首次公开其用于检测前沿模型行为偏离预期目标的内部监控体系;二是更新《模型规范》(Model Spec),将“忠于人类意图”列为模型行为准则的核心。两项举措均与此前披露的智能体逃逸沙箱、在内部评估中入侵Hugging Face等事件有关,旨在强化对高阶模型越权行为的发现、干预与治理。

(1)模型安全监测体系

该体系共分为四层:第0层为激活探针,通过轻量分类器扫描模型内部激活中的可疑模式,强调以高召回率为目标,降低漏报风险;第1层为基于模型的审查器,监测智能体对话、思维链以及工具调用等情况,识别欺骗、越权和评估操纵等行为;第2层为调查智能体,可回溯完整上下文并在隔离环境中验证证据,据此还原事件、识别重复报告,并判断事件的严重程度;第3层为自动化调查,进一步比对日志与遥测数据等信息,判断是否需要触发人工响应。

人工响应是这套体系的最终处置环节。当高优先级告警产生后,系统会在较短时间内通知安全与训练团队,部分关键告警可自动暂停相关任务;人工团队随后对事件进行复核、判断是否需要终止训练运行、回滚模型状态或加固隔离边界。

(2)新版《模型规范》

更新后的《模型规范》围绕五项核心准则重构:忠于人类意图、降低伤害、诚实透明、保障人的自主选择权、审慎尽责。其中,“忠于人类意图”被置于基础位置,要求模型理解用户、开发者及平台方的真实意图,而非机械执行字面指令。

OpenAI称,本次更新属于AI对齐工作的一环,目的是让模型在陌生场景下践行人类价值观,同时始终接受人类监督。修订后的框架提出,模型应当尽可能减少危害,如实说明自身知道和不知道的内容,辅助用户自主做决定、追寻自身目标。

OpenAI表示,现有模型还无法完全符合这份新版模型规范,其团队正在研究全新训练方式,让模型内化这些准则。

信息来源:

https://openai.com/zh-Hans-CN/index/how-we-detect-frontier-model-misalignment/

https://openai.com/zh-Hans-CN/index/updated-model-spec/

https://www.ithome.com/1/019/898.htm

https://www.itsdw.cn/news/41796.html


附件: