RightNow-AI/picolm

一个用约 2500 行纯 C（C11）编写的极简 LLM 推理引擎，能够在仅 256MB RAM、售价 10 美元的嵌入式单板电脑上本地运行 TinyLlama 等十亿参数级别的大模型，实现真正离线、零依赖、极低成本的 AI 推理。

• Pure C11, zero dependencies, single ~80KB binary • Memory-maps a 638MB model, using only 45MB runtime RAM • Runs on Raspberry Pi Zero 2W, LicheeRV RISC-V, and x86-64

在 256MB 内存的廉价开发板上本地运行十亿参数级 LLM 的纯 C 推理引擎 PicoLM 是约 2500 行 C11 写的极简 LLM 推理引擎，零依赖、单文件约 80KB，能在树莓派 Zero 2W、LicheeRV Nano 这类廉价板子上跑 TinyLlama 1.1B 等 GGUF 模型。

用 10 美元的开发板，256MB 内存，跑十亿参数的大模型，这事真有人做出来了。 PicoLM 是纯 C 写的推理程序，编译出来单个文件约 80KB 大小，零依赖，运行占 45MB 内存。 在树莓派 5 上每秒大约 10 个 Token，树莓派 4 是 8 个，十美元那块板子也有 1 个。 GitHub： 作者拿它给 PicoClaw 当本地大脑，两个凑一起就是个全程离线的…

Run a 1B model on a $10 board — without Python or the cloud. PicoLM is a minimal, from-scratch LLM inference engine written in C11 for running TinyLlama 1.1B and other LLaMA-architecture GGUF models…