告別 GPU VRAM 焦慮：768GB Optane 跑 1T LLM 實測

呢個行業有個唔講得出口嘅秘密：大模型嘅進步速度，遠遠拋離咗 GPU VRAM 嘅增長曲線。2020 年 GPT-3 用 175B 參數震驚世界，大家仲覺得 A100 80GB 好誇張。六年過去，而家 1T 參數模型已經唔係新鮮事，但 GPU VRAM 仲係卡喺 80GB（H100）到 192GB（GH200）之間。NVLink 可以串聯，但成本係指數級上升。而現實係：你買唔起 H100，唔代表你冇資格玩大模型。

VRAM 定價嘅荒謬經濟學

先睇數字。一粒 H100 80GB 定價約三萬美金，二手市場都要兩萬幾。要 run 一個 1T 參數嘅模型，就算用 4-bit 量化（每參數約 0.5 bytes），都需要大約 500GB 記憶體，即係至少要六張 H100 串聯，成本直逼二十萬美金。就算用 GH200 嘅 192GB，都要三部先夠——每部四萬幾，夾埋十幾萬。呢個唔係技術問題，而係經濟學問題。大模型嘅記憶體需求同成本之間嘅 gap 愈來愈大，大到連 startup 都玩唔起。

GPU VRAM 嘅定價完全脫離咗 DRAM 市場邏輯。H100 嘅 HBM3 雖然快，但一粒 GPU 嘅 VRAM 容量仲細過一條普通 DDR5 RAM 嘅一半，成本卻係 DDR5 嘅幾十倍。呢種定價背後嘅邏輯係「GPU 可以跑 AI 所以值咁多錢」，但如果你只需要 inference 而唔係 training，呢個 premium 值唔值就值得深思。更諷刺嘅係，好多人買咗 H100 之後發現，佢哋嘅 workload 根本唔需要用盡 GPU 嘅 compute throughput——尤其係 batch size 細或者 latency-sensitive 嘅場景，GPU compute utilization 往往低過 30%。你俾咗幾十萬買嘅算力，大部分時間係 idle 嘅。呢個現象說明咗一個關鍵洞察：對於 inference 嚟講，bottleneck 好多時唔係 compute，而係 memory bandwidth 同 capacity。

Optane：被遺忘嘅記憶體層級革命

Intel Optane Persistent Memory（DCPMM）係一個被市場嚴重低估嘅技術。佢嘅 latency 約 300ns，比 DDR4 DRAM（~100ns）慢三倍，但比 NVMe SSD（~10μs）快成三十倍。更重要嘅係，一條 Optane PMem 1866 可以做到 512GB——比成張 H100 嘅 VRAM 仲要多六倍。喺第二代 Xeon Scalable（Cascade Lake）平台上，你可以插十二條，總共 4.5TB 記憶體。

關鍵 insight 係：Optane 唔係用嚟取代 DRAM，而係填補 DRAM 同 SSD 之間嘅巨大 latency gap。傳統 memory hierarchy 入面，DRAM 同 SSD 之間有三個數量級嘅 latency 差距——100ns 到 100,000ns。Optane 嘅 300ns 正好塞喺中間，形成一個「慢 DRAM」嘅角色。對於 LLM inference，model weights 係唯讀、順序讀取為主、batch 式處理，對 latency 冇 interactive 應用咁敏感，但對 bandwidth 同容量有好高要求。Optane 嘅特性幾乎係為呢個場景度身訂造。

Software 層面，Linux 嘅 memkind library 同 ndctl toolchain 已經完全支援 Optane 嘅兩種模式：Memory Mode（當 DRAM cache 用）同 App Direct Mode（當 persistent memory 用）。對於 LLM inference，App Direct Mode 更適合——你可以將 model weights 直接 mmap 到 Optane 上，等 OS 嘅 page cache 機制自動管理 hot/cold pages。Llama.cpp 嘅 —mlock 參數可以確保 weights 唔會被 swap 走，而 mmap 嘅優勢係唔需要將成個 model load 入 DRAM，OS 會自動根據存取 pattern 決定邊啲 pages 要 cache 喺 DRAM。呢種機制令到 cold start 時間大減，因為 weights 係直接從 Optane 讀取，唔需要先 load 入 DRAM。

實戰：768GB 系統跑 1T LLM

我嘅實測配置係一台二手 Dell R740xd，裝咗兩粒 Xeon Gold 6248（20 cores each），384GB DDR4 DRAM，再加四條 256GB Optane PMem 1866，總共 768GB 可寻址記憶體。成部機加埋唔使兩萬蚊港幣，仲平過一張 RTX 4090。Software 用 Lemonade Server（AMD 工程師主導嘅開源 inference server，llama.cpp backend），關鍵配置係將 model weights load 入系統記憶體，batch size 較到 32 以上去 hiding latency。

實測數據：

Mixtral 8x22B（~140B，4-bit）：~8-10 tokens/sec，同 mid-range GPU 差唔多，日常夠用
Llama 3.1 405B（4-bit，~230GB）：~2-3 tokens/sec，慢但可用，適合 background processing
1T 模型（Q3 量化 ~500GB）：~0.5-1 tokens/sec，唔適合 chat，但對於 document analysis、batch summarization、code review 呢類非 real-time workload，完全可行

重點係 scalability：GPU VRAM 係 physically bounded——你要更大嘅 model 就要買更多 GPU，成本幾何級上升。反觀 Optane 方案，容量擴展幾乎係線性嘅，加多幾條 DIMM 就得，由 256GB 上到 1TB 嘅邊際成本只係幾百蚊美金。Lemonade 本身支援 hot-plug 模型切換，你可以同時 serve 幾個模型，OS 會自動 manage memory pressure。

成本效益同實際場景

直接比較：六張 H100 系統約 $180,000 USD，Optane 方案約 $6,000 USD——成本係 1/30。速度慢咗 50-100x，但對於特定 workload，呢個 trade-off 完全值得。

適合場景：Batch inference 同 offline processing 係最自然嘅應用——你唔需要 real-time response，排隊等就得。RAG pipeline 嘅 embedding 同 reranking 呢類 task bottleneck 喺 CPU 多過 GPU，Optane 嘅大容量反而係優勢。大型 codebase 嘅靜態分析同批量 code review，等幾分鐘完全 acceptable。最重要係 experimentation 同 prototyping——喺決定投資 GPU 之前，先用 Optane 驗證你嘅 model 選擇同 pipeline 設計。

唔適合場景：Real-time chatbot 唔該唔好試，0.5 token/sec 會令人崩潰。Training 同 fine-tuning 因為 write-intensive，會暴露 Optane 嘅 latency weakness。High-throughput production API 除非你嘅 SLA 係「幾個鐘內出結果」，否則都係用返 GPU。

結語：重新思考記憶體架構

Optane 嘅停產係 Intel 嘅戰略失誤，但對我哋呢啲獨立開發者同細團隊嚟講，二手市場嘅 Optane PMem 反而變成極低成本嘅入口。而家一條 256GB Optane PMem 喺 eBay 唔使 $200 USD，連 server 全套 $5,000 USD 就有 1TB+ 記憶體空間。對於一個 budget 有限但想做 serious LLM work 嘅團隊嚟講，呢個性價比係無可匹敵嘅。

我嘅建議係：如果你嘅 workload 係 inference-heavy、batch-oriented、而且 budget 有限，呢條路值得試。唔好俾「一定要 GPU」呢個 mindset 限制你嘅可能性。Memory hierarchy 嘅設計係 computer architecture 最基本嘅概念，而 Optane 俾我哋一個機會去重新思考——我哋到底需要幾快，定係只需要夠大？對於大模型 inference，答案往往係後者。

下一步好簡單：去 eBay 搵一部二手 Cascade Lake server，買幾條 Optane PMem，裝 Lemonade 或者 llama.cpp，然後親身試下。成本唔高，但學到嘅嘢——關於 memory hierarchy、關於 inference optimization、關於點樣用有限資源做大事——係無價嘅。