視覺模型的評測：怎麼量「看對了沒有」

• 欄位抽取：逐欄位的精確率與召回率，外加「整筆全對率」。後者才是業務關心的。
• 是非判斷：準確率，但要注意類別平衡。
• 描述生成：不能用文字相似度。改用「事實核對」——把描述拆成主張，逐條核對是否成立。
• 定位：IoU 或點擊命中率。

整筆全對率最重要

# 八個欄位各 95% 正確，整筆全對率只有 0.95^8 ≈ 66%
# 業務流程要的是整筆可用，所以要看這個數字
def exact_match_rate(preds, golds):
    return sum(p == g for p, g in zip(preds, golds)) / len(golds)

描述類任務的事實核對

CHECK = '''把下列描述拆解成獨立的事實主張，每條標註是否能從圖片驗證。

描述：{desc}

對每條主張輸出：
{"claim": "...", "verdict": "supported|contradicted|not_verifiable"}

注意：只依據圖片內容判斷，不要依據常識推測。'''

# 幻覺率 = contradicted 與 not_verifiable 的比例

評測集要包含的困難樣本

1. 低光源、反光、模糊。
2. 傾斜、部分遮擋、裁切不全。
3. 手寫內容與印刷混合。
4. 格式變體——同一種單據的不同版本。
5. 負樣本：圖中根本沒有目標資訊，正確答案是「找不到」。

負樣本是最常缺的

只用「圖中確實有答案」的樣本評測，測不出模型的幻覺傾向。負樣本應該佔評測集的兩到三成，並單獨統計「正確棄答率」。

人工評測的效率化

• 介面要把原圖與模型輸出並排顯示，並支援放大。
• 欄位抽取任務把預測值疊在原圖對應位置上，核對速度快很多。
• 用鍵盤快捷鍵，一筆的核對時間可以壓到幾秒。