監控模型輸出漂移：使用者沒抱怨不代表沒問題

等使用者抱怨才發現問題，通常已經過了好幾天。有一些指標不需要標準答案就能算，適合做即時監控。

不需要標註的監控指標

• 輸出長度分布：突然變長或變短，通常代表行為改變。
• 棄答比例：上升多半是檢索或輸入品質下滑。
• 格式合法率：結構化輸出任務的第一警訊。
• 工具呼叫分布：某個工具的使用率突然歸零，通常是它壞了。
• 重試與追問率：使用者行為的間接訊號。

# 用前一週的分布當基準，偵測偏移
from scipy.stats import ks_2samp

stat, p = ks_2samp(last_week_lengths, today_lengths)
if p < 0.01:
    alert(f'輸出長度分布顯著改變 (p={p:.4f})')

輸入端也要監控

很多「模型變差」其實是輸入變了：新的流量來源、前端改版導致傳入的欄位不同、上游系統開始送空值。監控輸入的長度分布、語言分布與空值率，往往比監控輸出更早發現問題。

告警要能行動

每一條告警都要附上「該去看什麼」。「格式合法率跌破 98%」加上「近一小時失敗樣本連結」，比單純一個數字有用得多。