4GB 显存训 8B 模型：这个微调工具把 infra 藏进了一个 YAML

MakazhanAlpamys/Soup（gh API 11 月 8 日实测：10,295 星、1,693 fork，Apache-2.0，Python，2026-02-20 创建、11-07 仍在推送，2,640 次提交、184 个 release；本周涨星约 433，findarepo 口径；官网 trysoup.dev）。先定性：这是能直接跑的微调/后训练工具——一个 YAML + 一条命令，不用 SSH、不用配 infra。与第四十八批“HF MoE 训练手册”区分：那篇是经验手册，这篇是工具。

Soup GitHub 仓库页面

一条命令走到 Ollama

pip install "soup-cli[train]" 后一路：soup init --template chat → soup train → soup chat → soup push → soup merge → soup export --format gguf（Ollama/llama.cpp 直接可用）；soup ui 本地看板（http://127.0.0.1:7860）。支持面（README 口径）：SFT、DPO/GRPO/PPO/KTO/ORPO/SimPO/IPO/BCO、工具调用、PRM、预训练、蒸馏、分类、视觉/音频/TTS、遗忘、RAFT；后端含 Unsloth（快 2–5 倍）、Apple Silicon 原生 MLX；模板 17 种（chat、code、tool-calling、medical、reasoning、vision、kto、orpo、simpo、ipo、bco、rlhf、pretrain、moe、longcontext、embedding、audio）。

亮点：Layer streaming（BETA，需手动开启）

把冻结的基座层留在内存外、一次只喂一层解码器进 GPU——在 4GB 笔记本显卡上训 8B 模型。实测数字（README 原文口径，两组数字主频不同、README 明确写不可直接对比）：Llama-3.1-8B-Instruct + NF4、LoRA、batch 1、seq 512——修复前 v0.72.2 在 RTX 3050 Laptop 4GB（952MHz）跑出 119.6 tok/s、峰值 3.32GB；修复后另一台同型号卡（1935–1957MHz）跑出 208.6 tok/s、峰值 2.40GB（修复以 −4.8% 的 32B 损失为代价）。条件要写全：LoRA、batch 1、seq 512、NF4 量化——不是“4GB 显卡随便训 8B”；该功能仍是 BETA、stream_layers: true 手动开启。免费 Colab T4 可自测（限 4GB、断言流式与常驻逐比特一致），论文 DOI 10.5281/zenodo.21771064。

Soup 官网配图

判断

三点校准：① “藏 infra”的真正含义是把出错的自由度收走：一条命令、未知配置报错、profile 预检——对没碰过训练的人是台阶，对老手是枷锁，各取所需；② 4GB 训 8B 的本质是“流式 LoRA 微调”，推理显存与训练显存是两回事，别与推理引擎混写；③ 与 HF MoE 手册（经验地图）、各类推理器（llama.cpp/vLLM）都不同层——这篇是“微调工程被封装成了 CLI”，它的爆火说明想训模型的人远多于想搭 infra 的人。