记录一下针对 170HX 的优化方案 # prefill : ~815 tok/s（--ubatch-size 4096） # decode : ~84 tok/s（推测接受率 ~99%） 使用 vllm 可以提速到 1800+ tok/s 的 prefill，但是缺少了 cache-ram 和 1m 上下文的优势，我还是选择 llama 个人使用，不使用并发。