权重是起点
粗略权重容量可用「参数量 × 每参数位元组」估算。70 亿参数在 FP16 下约需 14 GB 十进位空间，只是权重，不是完整运行需求。
TECHNICAL GUIDE
GPU 显存如何估算？
先理解权重，再把上下文、并发及运行开销算进去。
硬件与应用场景参考图UNDERSTAND THE TRADE-OFFS
逐步厘清技术条件
量化不是零成本
INT8／INT4 可降低权重容量，但会有缩放因子、元资料及运行时开销，且需验证品质及算子支援。
上下文与并发
KV cache 会随模型架构、上下文与请求批次改变。相同模型在不同服务条件下可能有很不同的显存占用。
用代表性测试收敛
以固定模型、精度及请求分布测试峰值记忆体、首 token 延迟与吞吐，保留余量再选型。
下一步需要哪些资料？
目标应用与模型、资料规模、使用者或节点数、延迟与吞吐要求、现有资源、预算及现场限制。若已有测试结果，可据此缩小选型范围。
LET’S BUILD YOUR NEXT CONFIGURATION
与我们讨论需求 ↗