321B 的 GLM、748B 的 DeepSeek，搬回家在自己的显卡上跑

mw00/project-maya（gh API 11 月 8 日实测：2,662 星、376 fork，MIT，2026-10-06 创建、11-07 仍在推送，1,074 次提交、92 个 release；本周涨星约 311，findarepo 口径；作者 Peasant Smith）。先定性：这是把三台当季旗舰 Flash 模型搬到自己 GPU 上跑的本地推理引擎——GLM-5.3-Flash（321B，18B 激活，1M 上下文）、DeepSeek-V4.1-Flash-1017（748B）、MiniMax-M3.1-Flash（428B，23B 激活，1M 上下文）；一个引擎、一个看板，OpenAI 与 Anthropic 兼容 API（含工具调用），一次最多 8 个并发。不是通用 runner（llama.cpp/vLLM 那类）——每个模型有专属引擎。

project-maya GitHub 仓库页面

做法：专家分级放置，边聊边调度

常用专家放 GPU、次常用的放内存、其余放 NVMe SSD，推理时按需调度；按机器自动测速调参；数据不出本机。量化分档（README 口径）：每模型 XS/S/M/L 四档（按专家保留位数），Maya-S 为默认；体积：GLM Maya-S 96.5GB、Maya-XS 73.4GB、Maya-L 156.3GB；DeepSeek Maya-S 340GB（含 Engram 表）、Maya-XS 277GB；MiniMax Maya-XS 93GB、Maya-S 122GB。另可选第三方量化（unsloth GGUF、LibertAIDAI EXL3、orcarouter abliterated、turboderp EXL3、Qwen-3.8-Flash-Next）。

速度与保真度（README 口径：前者为用户实测汇总，后者为作者自家量化对比）

速度（./maya.sh --bench 用户实测）：2×RTX 5090 + RTX 4090 最高 149 tok/s；2×H100 124；4×RTX 4090 118；单卡 RTX PRO 6000 81；单张 RTX 5090 30+；4×V100 69.7；
保真度：GLM Maya 各档保留 FP8 原版零样本准确率的 97.7–99.2%（Maya-L 99.2%）；DeepSeek Maya-S 与原版下一 token 一致率 92.6%；MiniMax Maya-S 87.6%（分类平均）——量化与原版仍有差距，别写成“家用显卡跑满血旗舰”。

project-maya logo

许可与一个实验档

各模型许可不同：GLM 与 DeepSeek 为 MIT，MiniMax 为 MiniMax Community License（仓库内分 LICENSE 文件存放）——别笼统写“全 MIT”。另有 Maya-M-Derisked 档（116GB）：Blackfrost_AI 的权重编辑，减少一刀切拒绝——实验性质，不是官方发布，要不要用自己掂量。

判断

三点校准：① 与第四十八批 HF MoE 训练手册区分：那篇讲“怎么训 MoE”，这篇讲“怎么在自己机器上跑现成的旗舰 MoE”——专家卸载到 NVMe 的思路不新，但针对三台具体模型做专属引擎 + 自动调参，是“可用性”层面的活；② 92.6% 的下一 token 一致率意味着什么要诚实：输出分布与原版有偏差，长文本与代码场景的累积误差没有独立评测——量化档位当“接近原版的本地可用版”读，别当“无损本地版”读；③ 2,662 星、一个月龄，体量小于本批前四篇——它的价值不在星数，在给“旗舰模型本地化”竖了个具体可抄的样本：分数化放置 + 按机器自调参。