I run local LLMs with pride. Yesterday, I argued that all LLMs should be open-weight. And I love running open models on my DELL Pro Max with GB10. The same machine can run increasingly intelligent…

为什么 176B 模型能跑进单台 DGX Spark？关键不是继续压权重，而是给 KV 缓存抢回内存。 它把 48GiB 的 n-gram PLE 查表改为 NVMe mmap，单个 token 只按需取少量行，权重占用降至约75GiB，同时保留 GB10 原生内核。更难得的是，前缀缓存、确定性 top-k、混合精度和 MTP 都被明确做成质量、速度、上下文之间可审计的工程取舍。

The checkpoint occupies ~126 GiB on disk, plus ~19 GiB for the Docker/vLLM image: approximately 145 GiB total. The checkpoint includes a ~47.7 GiB FP8 n-gram/PLE table.