人工智能进入国家安全领域后，问题不只是模型能不能工作，还包括谁来授权、谁能审查、风险如何被记录，以及公众和民选机构能否对关键决策保持有效监督。OpenAI 发起了一项旨在强化国家安全领域民主监督的倡议，计划通过工具、培训和专业能力支持政府机构。
这类倡议的价值，不在于把监督变成一份静态合规文件，而在于把监督机制嵌入 AI 系统的设计、部署和运行过程。对工程团队而言，最重要的变化是：模型评估、访问控制、审计记录和人工复核，应当成为系统的一部分，而不是项目上线后的补丁。
民主监督不能只停留在“有人负责”
在高风险场景中，“有人负责”还不够。一个可执行的监督机制至少要回答四个问题：
- 授权边界是什么？ 模型可以提供分析、检索和摘要，还是可以直接触发行动？
- 决策链条是否可追溯？ 谁提交了请求，使用了什么数据，模型返回了什么结果，谁批准了后续动作？
- 人类复核是否真实存在？ 如果人工只能点击确认，而无法查看依据、提出异议或停止流程，那么“人在回路中”可能只是形式上的安排。
- 出现错误时如何纠正？ 系统需要支持撤销、升级、复盘和责任追踪，而不是只保存一条最终输出。
因此，政府机构在采用 AI 工具时，需要同时建设技术控制和组织能力。工具可以提供日志、权限和评估接口；培训可以帮助使用者理解模型局限；专业团队则负责将这些能力转化为具体的采购标准、运行规则和审查流程。
从模型能力转向可审计的系统能力
国家安全应用通常涉及敏感数据、复杂权限和高后果决策。单独讨论模型准确率，很容易忽略系统层面的风险。例如，一个模型在测试集上表现良好，但如果输入数据未经授权、输出没有来源标记，或者工作人员无法区分事实与推测，整体系统仍然不适合直接用于关键决策。
可以把监督能力拆成几层：
- 身份与权限：明确哪些角色可以访问模型、数据和工具调用能力。
- 用途限制：为每个用例定义允许的任务、禁止的任务和需要升级审批的任务。
- 输入输出记录：保存请求者、时间、数据范围、模型版本、输出和人工处置结果。
- 风险评估：上线前和运行中检查偏差、误报、提示注入、数据泄露及自动化扩张风险。
- 人工干预：在高影响操作前设置强制复核，并允许审查者拒绝或退回结果。
- 独立审查：让安全、法律、政策或审计团队能够访问足够证据，检查系统是否越过授权边界。
这也意味着，民主监督不是与工程效率对立的额外流程。清晰的权限和日志可以缩短事故调查时间；明确的升级路径可以减少一线人员面对不确定结果时的临时决策；可重复的评估则能帮助管理者判断系统是否真的改善了工作，而不是仅仅增加了自动化程度。
一个可改造的 AI 使用治理配置
下面是一个示意性 YAML，用于描述某个国家安全 AI 用例的监督要求。它不是任何机构的官方规范，团队可以根据本地法律、任务性质和信息分级制度进行改造。运行前只需将其中的角色、数据分类和审批规则替换为实际配置；它本身不连接外部服务。
# ai-governance.yaml
use_case:
name: "情报资料检索与摘要"
owner: "分析部门"
risk_level: "high"
purpose: "辅助工作人员检索已获授权的资料并生成可复核摘要"
access:
allowed_roles:
- "授权分析员"
- "值班主管"
authentication: "强身份认证"
data_scope:
- "已批准的数据集"
deny_unapproved_external_upload: true
model_behavior:
may_generate: "候选摘要、引用位置、待核实问题"
may_not_decide: "目标排序、执法行动、资源调度"
require_source_citations: true
label_uncertainty: true
human_review:
required_before_external_action: true
reviewer_roles:
- "值班主管"
- "独立审查人员"
reviewer_must_record:
- "是否采纳模型输出"
- "核验过的来源"
- "发现的风险或不确定性"
logging:
retain:
- "请求者身份"
- "时间戳"
- "模型版本"
- "输入数据标识"
- "完整输出"
- "人工处置结果"
tamper_evident: true
escalation:
triggers:
- "模型提出未授权行动建议"
- "输出缺少可核验来源"
- "涉及敏感个人信息"
- "出现提示注入或数据外泄迹象"
action: "暂停任务并通知安全与政策负责人"
工程实现时，可以把这份配置接入 API 网关、工作流引擎或审计系统。例如，网关在请求进入模型前检查角色和数据范围；模型返回后，服务端检查是否包含来源和不确定性标记；如果命中升级条件，就禁止自动流转到下一个动作节点。这样，监督规则就不再依赖工作人员记忆，而是成为可测试、可审计的系统行为。
工具、培训与专业能力要配套建设
倡议中提到的工具、培训和专业知识，分别解决不同问题：
- 工具解决“如何控制和观察”：包括权限管理、评估套件、审计日志、来源标注和人工审批接口。
- 培训解决“如何正确使用”：工作人员需要知道模型可能幻觉、遗漏上下文、放大偏差，且不能把流畅文本当成事实证明。
- 专业能力解决“如何制定边界”：政策、法律、安全、采购和技术人员需要共同定义什么可以自动化，什么必须保留在人类决策链中。
培训不应只做一次性课程。更有效的方式是使用真实但脱敏的案例进行演练：让工作人员识别无来源结论、测试越权请求、处理相互矛盾的证据，并在模拟事故中完成暂停和上报。每次演练的结果还应反馈到提示模板、评估集和权限策略中。
落地时需要警惕的三个误区
把日志当成监督本身。 记录了请求，并不意味着有人会检查记录。高风险事件需要明确的抽查频率、责任人和处理时限。
把人工审批当成橡皮图章。 审批者必须能看到来源、限制条件和不确定性，也必须拥有拒绝和升级的权限。
只评估模型，不评估工作流。 真正的风险可能来自数据授权、权限组合、外部工具调用或人员误读，而不是模型单次回答的准确率。
给技术团队的采用清单
在把 AI 用于国家安全相关工作前，可以用下面的清单做一次最小审查：
- 是否写清楚了允许用途、禁止用途和责任人？
- 是否能按角色限制数据、模型和工具调用权限？
- 是否记录输入数据标识、模型版本、输出和人工处置？
- 高影响动作前是否有真正可以拒绝的人工复核？
- 是否定义了暂停、上报、撤销和事后复盘流程？
- 是否有独立团队定期检查偏差、越权和数据泄露风险？
- 培训是否覆盖模型局限、来源核验和事故处理？
民主监督的核心，不是放慢所有技术创新，而是确保国家安全领域的 AI 能力始终处于清晰授权、可追溯证据和有效人类判断之下。工具、培训和专业知识只有被组合进日常工程流程，才可能从原则变成真正可执行的问责机制。