SOLUTION DESIGN / PRACTICAL GUIDE

本地 AI 工作站方案設計

把模型、顯存、供電與軟件環境放在同一份配置計劃中。

架構思路

資料／模型 SSD → 系統記憶體與 CPU → GPU 推理 → 本地應用

以下為方案討論與選型方法，實際配置須依工作負載、現場條件及驗證結果調整。

記錄模型大小、精度、上下文、併發與延遲目標，區分推理、微調及完整訓練，三者不能沿用同一顯存估算。

以 8B 模型為例，僅權重在 FP16 約需 16GB，4-bit 約需 4GB；還需加入 KV cache、量化資訊、運行時及安全餘量。此例不代表整體可運行顯存。

核對 GPU 尺寸、供電、PCIe 通道及散熱。系統 RAM 須容納資料處理與模型載入；NVMe 分別考慮系統、模型與資料集空間。

固定驅動、框架、模型與提示詞，記錄首字延遲、生成速度、峰值顯存及持續負載溫度；多 GPU 需先確認框架能有效分配工作。

現有設備及版本、主要軟件與工作負載、使用人數或併發、資料規模與增長、場地供電與網路、預算、交期，以及不能中斷的業務時段。

需求確認表、配置與 BOM、相容性記錄、測試條件及驗收表。安裝、遷移、維護和現場服務的實際範圍，應在項目確認時另行約定。

LET’S PLAN YOUR CONFIGURATION