從線上日誌挖評測題：最便宜的高品質資料來源

花錢請人編評測題，往往編出來的都是理想情境。真正有價值的題目是使用者已經問過、而且你答錯過的那些。

五種高價值訊號

1. 明確的負面回饋：按了倒讚或「沒幫助」。
2. 立刻重問：使用者在 30 秒內換句話再問一次，代表第一次沒答好。
3. 中途放棄：串流到一半關閉。
4. 轉真人：對話轉接客服。
5. 格式解析失敗：程式端已經記錄的錯誤。

-- 找出「立刻重問」的樣本
SELECT a.session_id, a.query AS first_q, b.query AS retry_q
FROM logs a JOIN logs b
  ON a.session_id = b.session_id
 AND b.ts BETWEEN a.ts AND a.ts + INTERVAL '30 seconds'
 AND b.query <> a.query
WHERE a.ts > NOW() - INTERVAL '7 days'
LIMIT 200;

脫敏是前提

日誌轉評測集之前必須脫敏，而且要記錄脫敏規則版本。評測集通常會被更多人存取、被複製到不同環境，風險比生產日誌更高。

標註的順序

先把撈出來的候選分群（用嵌入分群即可），每群抽幾筆標註。這樣能避免評測集被某一類重複問題灌爆——例如兩百筆都是問營業時間。