連續批次處理：吞吐量提升最大的一個開關
同樣的硬體，開啟連續批次後吞吐量常常翻好幾倍。理解它為什麼有效。
前綴快取：把重複的系統提示只算一次
如果你的每個請求都帶著兩千字的系統提示，前綴快取幾乎是免費的加速。
量化怎麼選：INT8、FP8 與 4-bit 的實際差異
量化能省記憶體也能加速，但不同精度的取捨很不一樣。這篇給選擇順序。
模型服務的健康檢查：光看行程還活著不夠
模型服務可以「行程還在但已經不能用」。健康檢查必須做真實推論。
限流與排隊：流量尖峰時怎麼不整個垮掉
模型服務的資源無法瞬間擴充，所以入口的排隊策略比擴容更重要。
灰度發布模型版本：怎麼安全地換模型
換模型跟改程式不一樣，行為變化沒辦法用單元測試涵蓋。要靠流量分配。
語意快取：相似問題直接回舊答案，可以嗎
語意快取能省下大量成本，但誤命中的代價很高。要有明確的適用邊界。