A100 40G 就能跑：BOSS 直聘 33B 模型出量化版

BOSS 直聘的 LLM 团队 Nanbeige 上个月开源的 Nanbeige4.3-33B，现在有了量化版本：linux.do 帖主制作并上传了 GGUF 权重（XTer123/Nanbeige4.3-33B-GGUF），在 Colab 的 A100 40G 上实测可以跑 Q5 量化档。帖主还预告了一个 uncensored 版本，另有一个量化档计划次日放出。

先说官方模型本身的成色。Nanbeige4.3-33B 以 Apache 2.0 许可开在 Hugging Face，目前 602 个赞、2787 次下载，10 月 25 日刚更新过。官方评测图给出了一个跨 36 种职业的「专业能力」对比：Nanbeige4.3-33B 总分 44.83，Qwen3.8-27B 为 34.51，Muse-Glimmer-16B 只有 16.09。分职业看，从软件工程、机械工程到金融分析、法律助理、医疗保健，Nanbeige 在大多数格子里颜色更深，软件研发助理一格拿到 72 分。

需要提醒的是，这是官方自己放出的评测口径，「据说比 Qwen 27B 强」的社区口碑还需要更多人实测验证。但量化版的出现至少解决了一个现实问题：33B 全精度需要约 66GB 显存，Q5 量化后塞进一张 A100 40G 就能转起来，本地玩家和中小企业部署的门槛一下降了一大截。

对求职招聘场景有定制需求的团队来说，一个垂直背景团队训的通用模型加上微调，可能比通用大模型更贴业务。量化权重的出现正好补上了「想试但没卡」这一环。帖主用两个小时代码加部署搞定量化的过程，本身也是开源生态效率的展示。