離線評測與線上評測：兩者各自能回答什麼問題
離線分數漂亮但線上出事，是因為兩種評測在測不同的東西。
用模型當裁判：可靠的 LLM-as-judge 怎麼設計
讓模型評分很方便，但預設做法的偏誤很大。這幾個修正能大幅提升一致性。
訓練資料去重：近似重複比完全重複更麻煩
完全相同的樣本好抓，改了兩個字的近似重複才是讓評測分數虛高的元凶。
標註指南怎麼寫：一致率低通常不是標註者的問題
兩個人標同一批資料只有六成一致，多半是指南沒寫清楚邊界。
評測集會腐化：三個月後你的分數還有意義嗎
固定的評測集用久了會失去區分度。這篇講怎麼維護它的有效性。
從線上日誌挖評測題：最便宜的高品質資料來源
最貼近真實的題目就在你的日誌裡，關鍵是知道要撈哪些。
A/B 測試模型改動：樣本數與統計顯著性
看到「新版好 2%」就全量上線，很可能只是雜訊。這篇給實用的判斷方法。
文本清洗的常見陷阱：全形、零寬字元與 Unicode 正規化
看起來一樣的兩個字串，在程式眼中可能完全不同。中文資料尤其容易中招。
資料集切分：隨機切分什麼時候會騙你
隨機切分很方便，但在有時間性或群組性的資料上會造成嚴重高估。
指標選擇：準確率什麼時候會誤導你
類別不平衡時，準確率 95% 可能代表模型什麼都沒學到。
資料版本控制：讓每個分數都能追回當時的資料
程式碼有 git，資料常常只有一個資料夾叫 final_v3_new。這是最小可行的做法。
監控模型輸出漂移：使用者沒抱怨不代表沒問題
模型行為可能悄悄改變。這幾個不需要標註的指標可以當早期警訊。