#llm-inference

6 posts

• 2026-08-17 1% 成本的 LLM 推理：POWER8 + Optane 方案到底行不行？
• 2026-08-15 60-95% token 節省是真實的嗎？Headroom + ID-Agent + LMDeploy 三重 token 瘦身實測
• 2026-07-13 開源硬體 vs 貴價GPU：Optane PMem 跑LLM嘅真實效能
• 2026-06-15 你唔需要 GPU：記憶體層級推理的硬體革命
• 2026-06-05 告別 GPU VRAM 焦慮：768GB Optane 跑 1T LLM 實測
• 2026-06-03 P2P 算力 + Local AI：你部閒置電腦其實係金礦