提示的 A/B 測試框架：把改動風險降到最低

提示註冊表

# prompts/registry.yaml
classify_log:
  active:
    v3: 90        # 90% 流量
    v4: 10        # 10% 灰度
  default: v3     # 讀取失敗時的保底
  metrics:
    - accuracy
    - format_valid
    - p95_latency
    - cost_per_call

穩定分流

def pick_version(task, key):
    cfg = registry[task]
    bucket = int(hashlib.sha256(f'{task}:{key}'.encode()).hexdigest(), 16) % 100
    acc = 0
    for ver, pct in cfg['active'].items():
        acc += pct
        if bucket < acc:
            return ver
    return cfg['default']

分流鍵的選擇要看場景：面向使用者的功能用 user_id（同一人體驗一致）；批次任務用 item_id（分布更均勻）。用隨機數是錯的，同一個使用者會忽好忽壞。

必須同時盯的四個指標

• 品質：可自動判斷的正確率或格式合法率。
• 成本：每次呼叫的平均 token，新版提示變長會直接反映。
• 延遲：p95，長提示會拉高 TTFT。
• 行為分布：輸出長度、棄答率、工具呼叫分布的變化。

自動停損

GUARDS = {
    'format_valid': lambda new, base: new >= base - 0.005,
    'cost_per_call': lambda new, base: new <= base * 1.3,
    'p95_latency':   lambda new, base: new <= base * 1.5,
}

def check_guards(new_stats, base_stats):
    broken = [k for k, f in GUARDS.items()
              if not f(new_stats[k], base_stats[k])]
    if broken:
        registry.rollback(task, reason=f'護欄破線：{broken}')

發布節奏

1. 離線評測通過 → 進入 5% 灰度。
2. 觀察至少一個完整日夜週期。
3. 指標無異常 → 25% → 50%。
4. 穩定後全量，舊版保留在註冊表中至少兩週。