離線評測與線上評測：兩者各自能回答什麼問題

評測分兩類：離線是拿固定資料集跑分，線上是看真實流量的行為。混為一談會導致錯誤決策。

離線評測回答的問題

• 這次改動有沒有讓已知案例變差（回歸）。
• 兩個候選方案哪個比較好（比較）。
• 在特定切片上表現如何（診斷）。

線上評測回答的問題

• 真實使用者的完成率、放棄率、重試率。
• 真實輸入分布下的失敗樣態——這是離線集永遠缺的部分。
• 成本與延遲的實際分布。

兩者的落差從哪來

1. 評測集的輸入分布與真實流量不同，通常太乾淨。
2. 評測用的是理想上下文，線上的檢索結果可能是錯的。
3. 評測不含惡意輸入與極端長度。
4. 評測集被過度擬合——調了二十次提示都在同一組題目上，等於在背答案。

實務節奏

每次改動先跑離線把關，通過才灰度上線，再用線上指標決定是否全量。兩者都要，順序不能顛倒。