用模型當裁判：可靠的 LLM-as-judge 怎麼設計
讓模型評分很方便，但預設做法的偏誤很大。這幾個修正能大幅提升一致性。
訓練資料去重：近似重複比完全重複更麻煩
完全相同的樣本好抓，改了兩個字的近似重複才是讓評測分數虛高的元凶。
評測集會腐化：三個月後你的分數還有意義嗎
固定的評測集用久了會失去區分度。這篇講怎麼維護它的有效性。
從線上日誌挖評測題：最便宜的高品質資料來源
最貼近真實的題目就在你的日誌裡，關鍵是知道要撈哪些。
資料集切分：隨機切分什麼時候會騙你
隨機切分很方便，但在有時間性或群組性的資料上會造成嚴重高估。
指標選擇：準確率什麼時候會誤導你
類別不平衡時，準確率 95% 可能代表模型什麼都沒學到。
監控模型輸出漂移：使用者沒抱怨不代表沒問題
模型行為可能悄悄改變。這幾個不需要標註的指標可以當早期警訊。