把提示與程式碼一起做程式碼審查:該看哪幾件事
提示改動也會造成線上事故,審查標準卻常常缺席。這是一份可用的檢查清單。
一行提示的改動可能比一百行程式碼影響更大,但很多團隊的審查流程完全沒涵蓋提示。
審查提示時要看的七件事
- 有沒有附評測結果:改動前後的分數,缺這項就退回。
- 輸出格式是否改變:改了格式,下游解析要一起改。
- 安全與邊界規則是否被刪:常常在「精簡提示」時不小心刪掉。
- 是否引入使用者可控內容:新的變數插入點就是新的注入面。
- token 增量:加了五百字的範例,成本會反映在每一次呼叫上。
- 版本號是否更新:沒更新就無法追溯。
- 是否同步更新推論端的提示:微調模型尤其要注意這點。
讓差異看得見
# 提示存成獨立檔案,diff 才有意義
prompts/
classify_log.v3.txt
classify_log.v4.txt ← 新版另存,不覆寫
CHANGELOG.md ← 記錄每版改了什麼、分數變化審查者需要什麼資訊
提交提示改動時附上三樣:改動理由、評測分數對照、以及兩三個實際輸出的前後對照。沒有這些,審查者只能看措辭,看不出實際影響。
把評測腳本接進 CI,讓提示檔案變更時自動跑並把結果貼回審查頁面。人會忘記跑評測,自動化不會。