Beyond NVIDIA: The Quiet Diversification of AI Inference Hardware

二零二四年嘅時候，如果你問人跑 LLM 用咩硬件，答案幾乎只有 NVIDIA。H100、A100、甚至消費級嘅 4090，都係同一個生態圈。但去到二零二六年九月，局面已經唔同咗。GPU 短缺持續、供應鏈地緣政治風險升温，反而催生咗三條出乎意料嘅替代路線——唔係要取代 NVIDIA，而係證明咗推理呢件事根本唔一定需要 GPU。呢三條路線分別係：POWER8 記憶體推理、Apple Silicon 上嘅 Rapid-MLX、以及 Locally Uncensored 呢類全合一本地方案。佢哋嘅共同點係：用最平嘅硬件、最少嘅依賴，做到可用嘅本地推理。

POWER8 記憶體推理：五千元 server 做到八點八倍加速

有一個 project 叫 RAM Coffers，作者用一台二零一四年出產嘅 IBM POWER8 S824 server——eBay 上面大概賣五百美金——跑 TinyLlama 1.1B，做到每秒一百四十七個 token。相比原版 llama.cpp 嘅十六點七個 token，呢個係八點八倍嘅加速。呢台機有五百一十二 GB DDR3 RAM，十六個物理核心，一百二十八個 hardware threads（SMT8）。重點係：零 CUDA 核心。

佢點做到嘅？關鍵係三個硬件級優化。第一，POWER8 嘅 vec_perm 指令——一個雙源向量 permute 指令，可以喺一個 cycle 入面同時做剪枝、複製同路由，而呢樣嘢喺 GPU 上面要用八十个操作先做到。呢個叫做「非雙射坍縮」（non-bijunctive collapse），本質上係喺硬件指令層級做 Hebbian 學習——強路徑放大，弱路徑剪除。第二，dcbt cache prefetch hint。原版 llama.cpp 完全冇用 prefetch，權重資料每次 pass 都要從主記憶體重新 fetch。加咗 resident prefetch 之後，資料保持喺 L2/L3 cache 入面，直接從八十四 token/s 跳到一百四十七。第三，NUMA-aware weight banking。五百一十二 GB RAM 分佈喺兩個 NUMA node，RAM Coffers 會根據查詢內容將模型權重分配到唔同 node——語音邏輯查詢走 Node 1，創意寫作走 Node 2，核心知識走 Node 3。

呢個 project 嘅意義唔止於 benchmark 數字。佢證明咗兩件事：一，LLM 推理嘅瓶頸係記憶體帶寬，唔係算力；二，舊硬件配合正確嘅軟件優化，可以做到令人意外嘅效果。POWER8 嘅 vcipher 指令（原本係 AES 加密用嘅）被重新用途化做 attention collapse operator——呢種「hack 舊硬件做新嘢」嘅思路，正正係去中心化 AI 嘅精神。

Rapid-MLX：Apple Silicon 上嘅四倍加速

另一邊廂，Apple Silicon 嘅生態亦都出現咗重大突破。Rapid-MLX 係一個基於 Apple MLX framework 嘅本地 LLM 推理引擎，號稱比 Ollama 快四點二倍。經社區驗證嘅數據顯示：喺 Mac Studio M3 Ultra（二百五十六 GB RAM）上面，Qwen3.5-9B 跑到每秒一百零八個 token，而 Ollama 只做到四十一個——呢個係二點六倍嘅差距。Phi-4 Mini 14B 更加誇張：Rapid-MLX 一百八十 token/s 對 Ollama 五十六，三點二倍。

但 Rapid-MLX 嘅真正殺手鐧唔係 raw decode speed，而係 prompt caching。佢嘅 cached TTFT（Time To First Token）去到零點零八秒——喺 Cursor 或者 Claude Code 呢類 coding assistant 入面，模型經常收到相同嘅長 system prompt，Rapid-MLX 嘅 KV cache reuses 前綴，令第二個 turn 之後嘅回應幾乎即時開始。Ollama 嘅同等場景通常要四百至八百毫秒。呢個差距喺 agent 工作流入面會被放大四倍以上，因為 agent 會頻繁呼叫工具同重複發送上下文。

技術層面上，Rapid-MLX 嘅優勢來自幾個 architectural 選擇。首先，佢係純 Python 直接建立喺 mlx-lm 上面，而 Ollama 係 Go 寫嘅，透過 service boundary 包裝 MLX——呢個間接層本身就帶嚟 overhead。其次，Rapid-MLX 支援 continuous batching、DeltaNet RNN state snapshots、以及 speculative decoding（MTP + DFlash）。最後，佢提供完整嘅 OpenAI-compatible API，可以 drop-in 替代任何支援 OpenAI API 嘅工具——包括 Claude Code、Cursor、Aider。呢個意味住你唔需要改任何 code，淨係將 endpoint 指向 localhost:8000/v1 就得。

對香港嘅獨立開發者嚟講，呢個意味住：一部 MacBook Pro M3 Max（三十二 GB）已經可以跑 GPT-OSS 20B 做日常 coding assistant，每秒一百一十九個 token，完全唔需要 API 費用。

Locally Uncensored：全合一嘅本地方案

第三條路線嘅思路唔同——唔係追求某一個硬件架構嘅極致優化，而係將所有本地 AI 能力整合成一個即插即用嘅桌面應用。Locally Uncensored 係一個 AGPL-3.0 開源項目，一個安裝檔（Windows 約十四 MB），唔需要 Docker、唔需要 command line、唔需要 config file。

佢嘅野心係將四樣嘢放喺同一個介面：AI chat（支援二十個以上本地同雲端 provider）、coding agent（二十八個 MCP tools、architect/editor 分離、repo-map）、圖片生成（FLUX 2、Z-Image Turbo、SDXL 通過 ComfyUI）、影片生成（Wan 2.1、HunyuanVideo、LTX 2.3、FramePack F1）。其中 FramePack F1 特別值得注意：佢做到 image-to-video 只需要六 GB VRAM，令大部分消費級顯卡都可以跑影片生成。

呢個 project 嘅核心哲學係「uncensored by default」。佢用嘅係 abliterated models——喺模型權重層面移除 refusal 行為，而唔係 jailbreak prompt injection。呢個選擇反映咗一個更深層嘅觀點：本地推理嘅最大價值唔係「更快」或者「更平」，而係「自主」。當模型喺你嘅機器上面跑，冇人可以決定你問唔可以問嘅問題、生成唔可以生成嘅內容。呢個對於需要處理敏感資料嘅法律事務所、醫療機構、或者新聞編輯室嚟講，係一個根本性嘅差異。

Locally Uncensored 嘅另一個有趣設計係 remote access。你可以透過 LAN 或者 Cloudflare Tunnel 用手機遙距控制你嘅桌面 AI——掃一個 QR code、輸入六位數字 passcode，就可以喺手機上面用 Agent Mode、Codex、plugins。呢個將「本地 AI」嘅概念從「一個人坐喺電腦前面」擴展到「一個團隊隨時隨地存取」。

結論：NVIDIA 嘅護城河出現裂縫

呢三條路線各有唔同嘅切入點——POWER8 用舊硬件證明記憶體推理嘅潛力，Rapid-MLX 用 Apple Silicon 嘅統一記憶體架構做到比 GPU 方案更快嘅本地推理，Locally Uncensored 用全合一嘅 UX 降低本地 AI 嘅門檻。佢哋嘅共同訊息係：AI 推理嘅未來唔一定係「更多 GPU」。

對讀者嘅具體建議：如果你有一部 32GB 以上嘅 Mac，今晚就裝 Rapid-MLX 試下 Qwen3.5-27B 配合 Claude Code——呢個組合已經接近 production-grade。如果你對去中心化硬件有興趣，留意 RAM Coffers 同 RustChain 嘅 Proof of Physical AI stack。如果你需要一個即插即用嘅本地方案，Locally Uncensored 嘅 v2.5.8 已經相當成熟。NVIDIA 仍然係訓練嘅王者，但推理呢場仗，已經唔止得一個玩家。