176KB 的推理引擎，纯 C99 跑 2.78 万亿参数

跑一个 2.78 万亿参数的模型需要什么？GitHub 上的开源项目 kimi-k3-in-c 给出的答案出人意料：一个 176KB 的 C99 引擎就够，不需要 BLAS，不需要框架，也不需要 GPU。项目目前 10,442 星、Apache-2.0 许可，还在今天冲上了 Trending。

按仓库自述口径，Kimi K3 的 checkpoint 落盘要 1.56TB，而这套引擎的玩法是「模型放磁盘、按需流式读」：8GB 内存的普通笔记本约 26.5 秒出一个 token，32GB 内存约 24.2 秒，64GB 约 19.8 秒；等到 128GB 内存能把模型整个装进去，速度跳到约 5.6 秒一个 token。峰值内存实测 8.24GB。有一个颇为较真的细节：同一短 prompt 在所有机器上输出字节一致，只有时钟在走。

当前的 1.1.0 版本相比 1.0.0，按自述口径每 token 计算量轻了约 8 倍、聊天追问快约 3.9 倍、长 prompt 成本约减半。macOS、Windows 移植、NEON 支持、聊天模式、ultra 预设和更快的 MXFP4 内核，不少来自社区贡献者之手，Linux、macOS、Windows 三平台都能跑。

先把丑话说在前面：8GB 内存能跑的前提，是硬盘上躺着 1.56TB 的 checkpoint，外加你能接受几十秒才蹦出一个字。按 26.5 秒一个 token 算，回你一句话可能要等上二十分钟。所以它的定位是「能跑」，不是「好用」，拿来做日常助手并不现实。

那它的价值在哪？在于把推理引擎解剖到了最小：没有框架依赖，每一行代码都看得见，从权重加载、tokenizer 到采样循环全程透明，输出还能字节级复现。对想搞懂大模型推理全流程的开发者，这是继 Karpathy 的 nanochat 之后又一个值得逐行读的极简范本；对本地部署派，它也展示了一条教科书级的取舍路线：用磁盘换内存、用时间换硬件。想跑的话，README 的建议很朴实：先确认你有 1.56TB 的空闲磁盘。