評測集會腐化：三個月後你的分數還有意義嗎

評測集不是一次做完就永久有效。用久了會有三種腐化：過度擬合、分布漂移、標準答案過期。

三種腐化

• 過度擬合：你在同一組題目上調了三十次，分數上升但實際能力沒變。
• 分布漂移：真實使用者的問法變了，評測集停在半年前。
• 標準答案過期：產品規則改了，舊的正確答案現在是錯的。

分成公開集與保留集

1. 開發集：日常迭代用，允許反覆跑。
2. 保留集：只在重大決策前跑，不看細節、不逐題調整。
3. 兩者分數的差距擴大，就是過度擬合的訊號。

定期補新題

# 每月從線上流量抽樣，優先抽這三類
1. 使用者按了「這個回答沒幫助」的案例
2. 觸發人工介入或客訴的案例
3. 隨機抽樣（維持分布，不要只抽失敗案例）

第三點常被忽略：只補失敗案例會讓評測集越來越難，分數看起來一路下滑，但那是取樣造成的假象。

標準答案要有版本

每筆題目記錄「答案最後確認日期」與「依據的規則版本」。產品規則變更時，能立刻篩出需要重新確認的題目。