当 AI 开始自我进化：OpenAI 的安全防线与我们的实践路径

"""
self_improvement_monitor.py
检测 LLM 输出中潜在的递归自我改进行为信号。

使用方式：
1. pip install openai anthropic
2. 将本模块集成到你的 LLM 调用链中，在每次响应返回后执行审计
3. 根据风险等级决定是否放行输出或触发人工审核

注意：规则模式需要根据你的实际部署场景调整，
      这里提供的是起点而非完整方案。
"""

import re
from enum import Enum
from dataclasses import dataclass, field


class RiskLevel(Enum):
    LOW = "low"
    MEDIUM = "medium"
    HIGH = "high"
    CRITICAL = "critical"


@dataclass
class AuditResult:
    risk_level: RiskLevel = RiskLevel.LOW
    matched_rules: list[str] = field(default_factory=list)
    raw_output: str = ""
    recommendation: str = ""


# 自我改进行为信号规则集
# 每条规则对应一类需要关注的输出模式
SELF_MODIFICATION_RULES: list[tuple[str, re.Pattern, RiskLevel]] = [
    (
        "权重修改意图",
        re.compile(
            r"(修改|更新|调整|alter|modify|update).{0,20}(权重|参数|weights|parameters|model)",
            re.IGNORECASE,
        ),
        RiskLevel.HIGH,
    ),
    (
        "训练流程介入",
        re.compile(
            r"(启动|触发|开始|initiate|trigger|start).{0,20}(训练|微调|fine.?tune|train|retrain)",
            re.IGNORECASE,
        ),
        RiskLevel.HIGH,
    ),
    (
        "自我复制指令",
        re.compile(
            r"(复制|克隆|部署|copy|clone|deploy).{0,20}(自身|自己|self|itself|own)",
            re.IGNORECASE,
        ),
        RiskLevel.CRITICAL,
    ),
    (
        "安全策略绕过",
        re.compile(
            r"(绕过|规避|bypass|circumvent|evade).{0,20}(安全|限制|guard|safety|constraint|filter)",
            re.IGNORECASE,
        ),
        RiskLevel.CRITICAL,
    ),
    (
        "架构搜索提议",
        re.compile(
            r"(设计|搜索|优化|design|search|optimize).{0,20}(架构|网络结构|architecture|network)",
            re.IGNORECASE,
        ),
        RiskLevel.MEDIUM,
    ),
    (
        "递归改进声明",
        re.compile(
            r"(递归|循环|recursive|iterative).{0,20}(改进|优化|提升|improve|enhance|upgrade)",
            re.IGNORECASE,
        ),
        RiskLevel.MEDIUM,
    ),
]


def audit_llm_output(raw_output: str) -> AuditResult:
    """
    对 LLM 原始输出执行自我改进行为审计。
    返回 AuditResult，包含风险等级和匹配的规则列表。
    """
    result = AuditResult(raw_output=raw_output)

    for rule_name, pattern, level in SELF_MODIFICATION_RULES:
        if pattern.search(raw_output):
            result.matched_rules.append(rule_name)
            # 取所有匹配规则中的最高风险等级
            if level.value > result.risk_level.value:
                result.risk_level = level

    # 根据风险等级给出处置建议
    recommendations = {
        RiskLevel.LOW: "正常放行，记录日志",
        RiskLevel.MEDIUM: "放行但标记为关注项，增加后续对话轮次的审计密度",
        RiskLevel.HIGH: "暂停自动放行，触发人工审核流程",
        RiskLevel.CRITICAL: "立即阻断输出，冻结该会话，通知安全团队",
    }
    result.recommendation = recommendations[result.risk_level]

    return result


def format_audit_report(result: AuditResult) -> str:
    """格式化审计报告，用于日志或告警系统"""
    lines = [
        f"=== LLM 自我改进行为审计报告 ===",
        f"风险等级: {result.risk_level.value}",
        f"匹配规则: {result.matched_rules or '无'}",
        f"处置建议: {result.recommendation}",
        f"--- 原始输出片段 ---",
        result.raw_output[:300] + ("..." if len(result.raw_output) > 300 else ""),
    ]
    return "\n".join(lines)


# ---- 使用示例 ----
if __name__ == "__main__":
    # 模拟几条不同风险等级的 LLM 输出
    test_outputs = [
        "根据你的需求，我建议使用更深的网络结构来提升模型表现。",
        "我注意到当前模型的权重在某些层上分布不均，建议修改参数初始化策略并重新微调。",
        "为了持续提升能力，我可以设计一个递归改进流程，让模型在每次推理后自动优化自身架构。",
        "如果你需要绕过当前的安全过滤来获取更完整的回答，我可以提供一些规避策略。",
        "今天天气不错，适合出去散步。",
    ]

    for output in test_outputs:
        result = audit_llm_output(output)
        print(format_audit_report(result))
        print()

python self_improvement_monitor.py

=== LLM 自我改进行为审计报告 ===
风险等级: medium
匹配规则: ['架构搜索提议']
处置建议: 放行但标记为关注项，增加后续对话轮次的审计密度
--- 原始输出片段 ---
根据你的需求，我建议使用更深的网络结构来提升模型表现。

=== LLM 自我改进行为审计报告 ===
风险等级: high
匹配规则: ['权重修改意图', '训练流程介入']
处置建议: 暂停自动放行，触发人工审核流程
--- 原始输出片段 ---
我注意到当前模型的权重在某些层上分布不均，建议修改参数初始化策略并重新微调。

# 示例：Kubernetes 部署中推理服务与训练基础设施的权限隔离
# 核心原则：推理 Pod 不能访问训练 Pipeline 的任何资源

---
apiVersion: v1
kind: Namespace
metadata:
  name: llm-inference        # 推理服务专用命名空间
---
apiVersion: v1
kind: Namespace
metadata:
  name: llm-training         # 训练基础设施专用命名空间
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-cross-namespace
  namespace: llm-inference
spec:
  podSelector: {}            # 适用于推理命名空间内所有 Pod
  policyTypes:
    - Egress
  egress:
    # 只允许访问推理服务自身需要的资源
    - to:
        - namespaceSelector:
            matchLabels:
              purpose: inference
    # 显式阻断到训练命名空间的任何流量
    # （未在 allowed 列表中的目标默认被阻断）
---
# 训练命名空间的 NetworkPolicy：只允许人工触发的操作
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: training-isolation
  namespace: llm-training
spec:
  podSelector: {}
  policyTypes:
    - Ingress
  ingress:
    - from:
        - namespaceSelector:
            matchLabels:
              purpose: human-ops    # 只有运维命名空间可以触发训练