標註指南怎麼寫：一致率低通常不是標註者的問題

標註品質決定資料品質，而標註品質的上限是指南。指南寫得含糊，再認真的標註者也會分歧。

指南必備的四個部分

1. 每個標籤的定義，用一句可判斷的話，不要只給名詞。
2. 邊界案例：最容易搞混的兩個標籤，明確說明怎麼分。
3. 正例與反例各三到五個，附上為什麼。
4. 遇到不確定時的規則：例如「無法判斷一律標 unknown，不要猜」。

邊界說明範例

logistics（物流）vs refund（退款）

判準：使用者的訴求是「東西在哪」→ logistics；
      訴求是「要拿回錢」→ refund。

「還沒收到，我要退錢」→ refund（最終訴求是退款）
「說要退錢但先問到哪了」→ logistics（當前訴求是查詢）

量測一致率

讓兩位標註者重疊標註 10% 的資料，計算一致率。低於八成就先改指南，不要急著標完剩下的九成——那些資料會帶著同樣的分歧。

爭議要回饋進指南

每次不一致的案例都要討論並寫進指南的邊界案例章節。指南應該是活的文件，隨著標註推進而長大。