Catalog

部署與推理優化

量化、批次處理、KV 快取與服務化，把延遲與成本壓到可上線的水準。

全部主題 提示工程 RAG 檢索增強 Agent 開發 模型微調 部署與推理優化 資料處理與評測 多模態應用 工具與工作流
不限 免費 VIP 專屬 全難度 入門 進階 實戰
符合條件：3 篇
推理延遲的組成：先知道時間花在哪裡
免費 部署與推理優化 入門
推理延遲的組成：先知道時間花在哪裡
優化之前先拆解。多數團隊優化錯地方，是因為沒量過各段耗時。
2026-08-29
8 分鐘
 串流回應的正確實作：SSE 與中途中斷
免費 部署與推理優化 入門
串流回應的正確實作：SSE 與中途中斷
串流不只是把字吐出來，還要處理中斷、錯誤與部分結果的保存。
2026-08-20
7 分鐘
 把模型服務包成 Docker：一份可用的基礎設定
免費 部署與推理優化 入門
把模型服務包成 Docker：一份可用的基礎設定
GPU 容器化有幾個固定要處理的點，這是可以直接改用的骨架。
2026-08-12
7 分鐘