國產 GPU 部署 LLM 的真實教訓：200 萬預算踩坑指南

你以為 200 萬能買到算力，其實你買到的是一堆工程師的加班費

最近在 V2EX 看到一個帖子，樓主因為信創政策要求，手上有 200 萬預算必須買國產 GPU 跑大模型。評論區瞬間炸出一堆過來人，核心結論出奇一致：國產 GPU 部署 LLM，硬件不是瓶頸，軟件生態才是。

這句話聽起來像是在安慰人，但實際上是一個殘酷的事實。你花 200 萬買了 16 張卡回來，結果發現 vLLM 跑不起來、文檔過期三個月、官方示例代碼報錯，然後你需要養一個專門 debug 驅動和框架兼容性的團隊——這個團隊的人力成本，可能比買卡本身還貴。

作為一個在香港搞過幾次國產硬件 POC 的獨立開發者，我來拆解一下 200 萬預算下，三款主流國產 GPU（平頭哥 PPU、昇騰 910B、海光 K100AI）的真實部署體驗，幫你避開那些廠商不會告訴你的坑。

平頭哥 PPU：阿里自己在用，所以踩坑最少

如果你預算有限、團隊規模不大，平頭哥 PPU（真武系列）是目前最務實的選擇。原因很簡單：阿里自己在用。

Qwen 團隊的訓練和推理全部跑在真武 PPU 上，這意味著平頭哥的軟件棧（T-Head SAIL）經過了大規模生產環境的驗證。從 V2EX 的討論來看，很多用戶反饋平頭哥 PPU 的 CUDA 兼容性是國產卡裡最好的，大部分 CUDA 代碼改改就能跑，不需要從零重寫。

2026 年的數據更有說服力：真武 M890 已經服務超過 650 家企業客戶，累計出貨突破 60 萬片，覆蓋金融、互聯網、自動駕駛等二十多個行業。IDC 統計顯示，真武 PPU 出貨量在中國本土 AI 晶片廠商中排名第二，僅次於華為昇騰。

硬件規格方面，真武 M890 內置 144GB HBM 高頻寬顯存，片間互聯帶寬達到 800GB/s，整體性能是上一代真武 810E 的三倍。對於 200 萬預算，你可以拿到 8-16 張卡的配置，足以跑通 70B 參數級別的模型推理。

但平頭哥也有短板。首先，它的生態相對封閉，很多工具鏈深度綁定阿里雲，如果你打算自建機房而非使用阿里雲服務，需要額外適配。其次，真武 V900 和 J900 要到 2027-2028 年才能量產，如果你現在買 M890，兩年後可能就顯得落後了。

昇騰 910B：硬件規格最強，軟件生態最災難

昇騰 910B/950DT 的硬件規格在國產卡裡是最強的，理論算力甚至超過 NVIDIA H20。但問題在於，規格表上的數字和你能跑起來的性能之間，隔著一個太平洋。

V2EX 討論裡有一個真實案例：有人用單機 8 卡昇騰 910B 跑 GLM5 Q8 量化版，推理速度只有 20 tokens/秒。這是什麼概念？同等配置下，NVIDIA A100 跑同樣的模型至少能到 60-80 tokens/秒。差距不是一點半點。

問題出在哪？vLLM-ascend（昇騰適配版 vLLM）目前還是實驗性質的。從 GitHub issues 來看，版本兼容性是災難級的：CANN 版本和腳本引用版本不一致、動態庫路徑配置複雜、FlashComm 功能不支持特定模型、長上下文推理性能斷崖式下跌。

更致命的是文檔。昇騰的技術文檔更新嚴重滯後，很多示例代碼是基於舊版本寫的，直接跑會報錯。你需要手動 symlink 動態庫、配置十幾個環境變量、處理各種 permission 問題。如果你的團隊沒有 3-5 個熟悉 Linux 底層和 NPU 驅動的工程師，昇騰 910B 會變成一個無底洞。

適合場景：如果你是大型企業、有專門的 AI 基礎設施團隊、且預算充足到可以養得起一個專門的適配小組，昇騰的硬件潛力是值得投入的。但對於 200 萬預算的小團隊來說，這是災難。

海光 K100AI：性價比之王，但別期望太高

海光 K100AI 是國產 GPU 裡的「中庸之選」。64GB HBM3 顯存、192 TFLOPS FP16 算力、零售價大約 5.6 萬人民幣一張——對比 NVIDIA H20 的價格，便宜了將近一半。

它的核心優勢是 CUDA 代碼改改就能跑。海光 K100AI 基於 ROCm 生態，大部分 CUDA 代碼只需要做少量修改就能在 DCU 上運行。從實測數據來看，部署 Qwen3 32B 模型時，vLLM 在海光 K100AI 上的性能大約是 A100 的 60% 左右——不算好，但至少能跑。

在 200 萬預算下，你可以拿到 30+ 張 K100AI，配置 4-8 台 2U 服务器。根據天翼雲的配置方案，4 卡 K100AI 的一体機可以跑 DeepSeek-R1-Distill-Llama-70B 及以下的模型，8 卡配置則可以支撐更大規模的推理。

但海光的問題也很明顯。首先，DTK（海光開發工具套件）的安裝和配置並不簡單，需要匹配特定的驅動版本和操作系統（推薦 Kylin OS）。其次，性能天花板有限，192 TFLOPS 的算力在處理 100B+ 參數的大模型時會顯得力不從心。最後，海光的軟件生態雖然比昇騰好，但和 NVIDIA 比仍然是天壤之別。

適合場景：如果你的模型規模在 70B 以下、預算有限、且不想在軟件適配上花太多時間，海光 K100AI 是最平衡的選擇。但要做好心理準備——「能跑」和「跑得好」是兩回事。

200 萬預算的行動建議

如果你真的因為信創政策必須選國產 GPU，以下是我的具體建議：

第一步：先上雲跑 POC，再決定買什麼卡。 阿里雲有真武 M890 的實例，華為雲有昇騰 910B 的實例，天翼雲有海光 K100AI 的方案。花一兩萬租個月卡，把你的模型和業務場景跑一遍，確認性能和穩定性再決定採購。

第二步：算清楚隱性成本。 GPU 的價格只是冰山一角。你需要計算：工程師人力（調試驅動和框架）、電力和散熱（國產卡功耗普遍較高）、維護成本（國產卡的售後響應速度）、機會成本（開發週期拉長導致的業務延遲）。

第三步：優先選平頭哥或海光，避開昇騰。 除非你有專門的 NPU 適配團隊，否則昇騰 910B 的軟件生態會讓你懷疑人生。平頭哥 PPU 是目前國產卡裡「開箱即用」體驗最好的，海光 K100AI 則是性價比最高的。

第四步：預留 20% 預算做軟件適配。 不要把 200 萬全花在硬件上。國產 GPU 的軟件生態遠未成熟，你需要預留足夠的預算來應對各種意想不到的兼容性問題。

說到底，200 萬在國產 GPU 市場裡算不上大數字。與其追求硬件規格的最大化，不如追求「能把模型跑起來、能穩定服務業務」這個最低標準。在國產 GPU 的世界裡，穩定性和可維護性，比算力更重要。