權重是起點
粗略權重容量可用「參數量 × 每參數位元組」估算。70 億參數在 FP16 下約需 14 GB 十進位空間，只是權重，不是完整運行需求。
TECHNICAL GUIDE
GPU 顯存如何估算？
先理解權重，再把上下文、並發及運行開銷算進去。
硬件與應用場景參考圖UNDERSTAND THE TRADE-OFFS
逐步釐清技術條件
量化不是零成本
INT8／INT4 可降低權重容量，但會有縮放因子、元資料及運行時開銷，且需驗證品質及算子支援。
上下文與並發
KV cache 會隨模型架構、上下文與請求批次改變。相同模型在不同服務條件下可能有很不同的顯存佔用。
用代表性測試收斂
以固定模型、精度及請求分佈測試峰值記憶體、首 token 延遲與吞吐，保留餘量再選型。
下一步需要哪些資料？
目標應用與模型、資料規模、使用者或節點數、延遲與吞吐要求、現有資源、預算及現場限制。若已有測試結果，可據此縮小選型範圍。
LET’S BUILD YOUR NEXT CONFIGURATION
與我們討論需求 ↗