多模態應用的成本結構:圖片比文字貴在哪
一張圖等於多少 token?搞清楚計費邏輯,成本才控制得住。
文字的成本很直覺,圖片不是。同樣一張圖,換個解析度或換個服務商,費用可能差好幾倍。
圖片如何計價
多數服務把圖片切成固定大小的區塊,每個區塊換算成一定數量的 token,再依尺寸計算總數。所以成本大致與像素面積成正比,而不是與檔案大小成正比。
# 概念示意:實際係數依服務商而異
tiles = ceil(w / 512) * ceil(h / 512)
tokens = base_tokens + tiles * tokens_per_tile三個省錢的槓桿
- 降解析度:面積減半,成本大致減半。先測最低可用解析度。
- 裁切而非整張:只送需要的區域。
- 快取:同一張圖的同一個問題不要重複送,用圖片雜湊當快取鍵。
批次處理的注意事項
- 一次送多張圖時,token 是累加的,很容易超過上下文上限。
- 大量處理前先算好單張成本再乘以總數,不要跑到一半才發現預算爆了。
- 失敗重試要有上限,圖片任務的重試成本比文字高得多。
把成本記到單一請求
日誌要記錄每次請求的圖片數量、總像素、實際 token 與費用。沒有這層資料,你只會看到帳單總額,卻不知道是哪個功能造成的。
在上傳端就限制圖片尺寸與數量。等到後端才處理,頻寬與儲存成本已經付出去了。