0.3B 的小模型在手机上离线跑出 350 token/s

手机上离线跑大模型，通常在「够小」和「够聪明」之间做取舍。淘宝 MNN 团队开源的 MNN-Pocket-0.3B（Apache 2.0）试图两头都要：约 300M 参数从头设计训练，INT4 部署文件仅 173MB，据团队自测在 iPhone 上离线跑出约 350 token/s 解码速度。

模型规格：约 300M 参数、28 层结构、GQA 注意力、上下文最长 32K（部署支持 40,960 位置）、中英双语。基准按团队自测口径：11 项中英文基准平均分 50.00，对比 Qwen3-0.6B 的 44.28 与 MiniCPM4-0.5B 的 46.81，部分单项包括 MMLU-Redux 44.00、BBH 47.38、IFEval 73.20、GSM8K 54.36、HumanEval 53.66。

速度数字同样按团队自测：iPhone 18 Pro 全离线 MNN 引擎平均解码约 350 token/s；iPad Pro M5（Metal）512-token 配置下 Prefill 8,721 token/s、Decode 466 token/s，为同条件 Qwen3-0.6B（286 token/s）的 1.63 倍；峰值内存增量 228MB，低于 300MB 的设计目标。

定位照模型卡原话：面向端侧助手、数据抽取与轻量 agent 流程；明确不推荐用于推理密集型任务（如高等数学、长程代码生成）。团队也注明实际表现随设备、后端与输入输出长度变化，无第三方复现。

和本站写过的两篇对照：纯 C99 跑 Kimi K3（176KB 引擎跑 2.78 万亿参数）是推理引擎的极限，ERNIE 5.5 Flash Base 是云端大模型开源，这篇是「为手机从头训练的小模型」，落点是 App 内置 AI 的成本与体验。对想在 App 里内置 AI 助手、又不想把用户数据发上云的开发者，173MB 加 228MB 内存增量是一个可以直接写进产品需求文档的数字。