標註流程自動化：用模型做初標，人只做審核

1. 全審：每一筆都人工看過。品質最高，適合評測集與 gold 資料。
2. 抽審：只審一定比例，其餘信任模型。適合訓練資料。
3. 分流審：模型信心低或彼此不一致的才送人工。效率最高。

分流審的實作

def triage(item, models):
    preds = [m.predict(item) for m in models]      # 2-3 個不同模型或不同提示
    labels = [p['label'] for p in preds]
    conf = min(p['confidence'] for p in preds)

    if len(set(labels)) == 1 and conf >= 0.85:
        return {'label': labels[0], 'route': 'auto', 'need_human': False}
    if len(set(labels)) == 1:
        return {'label': labels[0], 'route': 'spot_check', 'need_human': False}
    return {'label': None, 'route': 'human', 'need_human': True,
            'candidates': labels}

多模型一致且高信心的樣本，錯誤率通常很低，可以直接採用；不一致的樣本則恰好是最有學習價值的，值得人工處理。

審核介面的設計重點

• 預選模型的答案，人只需確認或修改。這比從零選擇快好幾倍。
• 顯示模型的理由，幫助審核者快速判斷。
• 鍵盤操作：確認、修改、跳過都要有快捷鍵。
• 批次確認：高信心的同類樣本可以一次確認多筆。
• 顯示相似的已標註樣本，維持一致性。

品質監控

# 在待審佇列中混入已知答案的題目，量測審核者品質
inject_rate = 0.05                    # 5% 是已知答案的檢查題
# 審核者在檢查題上的正確率低於 0.9 → 需要重新訓練或休息

審核疲勞是真實的：連續審核一小時後，錯誤率會明顯上升。用檢查題監控，並建議分段作業。

初標模型的選擇

初標應該用你能取得的最強模型，即使很貴——因為每筆只跑一次，而且省下的人力成本遠高於模型成本。不要用未來要上線的那個小模型來初標，那會讓資料集繼承它的偏誤。