持續微調：模型上線後怎麼跟著資料一起長

一、資料回收（自動）

# 三種來源，優先級由高到低
1. 人工修正過的樣本   ← 品質最高，一定要收
2. 使用者負面回饋的樣本
3. 模型低信心的樣本   ← 主動學習：不確定的最有學習價值

def should_collect(pred, feedback):
    return (feedback == 'corrected'
            or feedback == 'thumbs_down'
            or pred.confidence < 0.6)

二、標註（半自動）

人工修正過的樣本已經有標籤，直接可用。低信心樣本則送進標註佇列，每週處理一批。重點是控制標註量——每週 100 到 200 筆是可持續的節奏，一次要標兩千筆的計畫通常會停擺。

三、重訓（排程）

• 觸發條件：新資料累積達門檻（例如 500 筆）或距上次訓練滿三個月。
• 資料組成：舊資料 + 新資料，且要重新做去重與洩漏檢查。
• 不要只用新資料訓練——那會造成災難性遺忘。

def build_training_set(old, new, max_total=6000):
    # 新資料全留，舊資料抽樣補足
    keep_old = max_total - len(new)
    sampled = stratified_sample(old, n=keep_old, by='label')
    return dedupe(sampled + new)

四、驗證（自動門檻）

GATES = {
    'task_accuracy':  lambda new, cur: new >= cur - 0.005,   # 不可退步
    'format_valid':   lambda new, cur: new >= 0.999,
    'general_regress':lambda new, cur: new >= cur - 0.02,
}
# 任一門檻未過 → 不自動發布，轉人工檢視

五、發布（灰度）

新版介面卡以 5% 流量上線，觀察一週。指標無異常則逐步放大。舊版保留至少一個月，以便回滾。

要小心的回饋迴路偏誤

評測集也要跟著更新

持續微調的同時，評測集必須加入新出現的樣態，否則你會用舊題目評估新模型，看不出真正的改善或退步。建議每季更新一次評測集，並保留一份「固定不變的核心題組」作為跨版本比較的基準。