蒸餾：用大模型教出可上線的小模型

蒸餾的商業價值很直接：如果一個 8B 模型能在你的特定任務上達到 70B 模型九成五的表現，推論成本可能降到十分之一。

關鍵在於「特定任務」四個字。蒸餾不會產生通用能力相當的小模型，它是把大模型在某個窄領域的行為複製過來。

三種蒸餾方式

回應蒸餾：用大模型產生輸出，當作小模型的訓練標籤。最簡單，也最常用。
推理鏈蒸餾：讓大模型輸出推理過程，小模型學習整個推理再給答案。對需要多步推理的任務效果較好。
機率分布蒸餾：讓小模型擬合大模型的 token 機率分布。效果最好但需要能取得 logits，多數 API 不提供。

回應蒸餾的實作流程

# 1. 收集真實輸入（不需要標註）
inputs = load_prod_inputs(n=5000)

# 2. 用大模型產生標籤（溫度 0，確保一致）
labels = [teacher.complete(PROMPT.format(x=x), temperature=0) for x in inputs]

# 3. 過濾：只留下通過驗證的樣本
pairs = [(x, y) for x, y in zip(inputs, labels)
         if format_valid(y) and rules_ok(y)]

# 4. 用 pairs 微調小模型
print(f'保留 {len(pairs)}/{len(inputs)} 筆（{len(pairs)/len(inputs):.0%}）')

第三步的過濾是品質關鍵。老師模型也會出錯，直接把錯誤標籤訓進學生模型，等於把錯誤固化。

提升標籤品質的兩個技巧

多次取樣取共識：同一個輸入用老師模型跑三次，只保留三次一致的樣本。不一致的丟棄或送人工。
用驗證器過濾：能程式驗證的部分（格式、加總、引用）一律驗證，不通過就丟。

推理鏈蒸餾的注意事項

# 訓練標籤同時包含推理與答案
{"role": "assistant", "content":
  "<think>訂單金額 1200 超過免運門檻 1000，但配送地為離島，"
  "依規定離島不適用免運。</think>\n"
  "{\"eligible\": false, \"reason\": \"離島不適用\"}"}

推理鏈會增加輸出長度，也就增加推論成本。要評估「推理帶來的準確率提升」是否值得多出來的 token。很多任務的答案是：不值得。