長期維運 RAG：索引膨脹、成本與品質衰退

衰退一：索引膨脹

文件持續累積，但沒有下架機制。三年後索引裡有六成是過期內容，檢索品質持續下降，成本持續上升。

• 建立文件生命週期：每份文件有負責人與複審日期。
• 超過複審日期未確認的文件，自動標記為 stale 並降權。
• 每季產出「最久未更新且仍被檢索到」的清單，交給負責人處理。

衰退二：查詢分布漂移

使用者的問法會隨著產品與組織變化。半年前調好的切塊與 k 值，可能已經不適合現在的問題型態。

# 每月比較查詢分布
# 1. 對本月與上月的查詢做嵌入分群
# 2. 比較各群佔比變化
# 3. 新出現的群 → 檢查是否有對應文件
new_clusters = [c for c in this_month if c.id not in last_month]
for c in new_clusters:
    print(c.sample_queries[:3], '→ 零結果率:', c.zero_hit_rate)

衰退三：零結果與棄答上升

這兩個指標是最早的預警。上升通常代表使用者開始問系統沒有涵蓋的領域——這是內容缺口，不是技術問題。應該把這些查詢整理成「內容需求清單」交給知識管理者。

衰退四：成本悄悄上升

• 文件變多 → 檢索候選變多 → 重排成本上升。
• 使用者變多 → 呼叫量上升。
• 有人把 k 值調大「以防萬一」，成本翻倍但品質沒變。

把「每次問答的平均成本」做成長期趨勢圖。它應該隨著優化而下降；若持續上升而品質沒有相應提升，就該檢視是哪個環節在膨脹。

季度健檢清單

1. 重跑完整評測集，與上季比較。
2. 檢視零結果率、棄答率、負面回饋率的趨勢。
3. 抽查 30 筆真實問答做人工評分。
4. 檢視索引中 stale 文件比例。
5. 檢視每次問答成本趨勢。
6. 確認評測集本身是否需要補新題。