完整微調專案：從問題定義到上線的十二週流程

第 1–2 週：問題定義與基準

1. 寫下任務的精確定義：輸入是什麼、輸出是什麼、什麼算對。
2. 建立評測集（至少 200 題），並跑出三條基準線：零樣本、少樣本、更大模型加少樣本。
3. 退出條件：能用一句話說明「微調要贏過哪條基準線、贏多少才值得」。

第 3–5 週：資料

1. 寫標註指南，兩人重疊標註 100 筆，量測一致率。
2. 一致率低於 0.8 就修指南重來——這一步不能省。
3. 完成 1000–3000 筆標註，去重、脫敏、分層切分。
4. 退出條件：資料集有 manifest、一致率達標、驗證集與訓練集無洩漏。

第 6–7 週：訓練與調參

# 有紀律的實驗網格，不要隨意亂試
grid = {
    'rank': [8, 16, 32],
    'lr': [1e-4, 2e-4],
    'epochs': [2, 3],
}
# 每組都記錄：驗證損失、任務分數、通用能力回歸分數、訓練時長

退出條件：找到一組設定，在保留集上贏過最佳基準線，且通用能力回歸沒有明顯退化。

第 8 週：完整評測

• 四層評測：格式、任務、回歸、穩健。
• 按切片檢視分數，特別注意罕見類別。
• 產出評測報告，包含與各基準線的對照。

第 9–10 週：整合與影子模式

1. 把模型接進實際服務路徑，但不回傳結果。
2. 收集真實流量的比對資料至少一週。
3. 退出條件：影子模式下的表現與離線評測一致，沒有意料外的失敗樣態。

第 11–12 週：灰度與全量

1. 5% → 25% → 50% → 100%，每階段觀察一個完整日夜週期。
2. 護欄指標自動停損。
3. 退出條件：全量後穩定一週，並完成回滾演練。

常見的時程陷阱

• 資料階段被低估：實務上經常佔掉一半以上的時間。
• 評測集太晚建立：沒有基準線就開始訓練，最後無法判斷是否值得上線。
• 忽略回歸測試：直到使用者抱怨其他功能變差才發現。
• 沒有回滾計畫：出事時只能硬撐。