LlamaFactory：7.5 万星开源微调平台，100+ 模型统一高效训练

本文介绍 hiyouga 开源的 LlamaFactory（7.5 万 stars，Apache-2.0）——统一的高效大模型微调平台，覆盖 100+ LLM 与视觉语言模型，论文中了 ACL 2024，被 Amazon、NVIDIA、阿里云在生产环境中使用。想微调自己的模型，这是目前社区最省心的起点。

项目简介

LlamaFactory 的目标是把"微调一个模型"从改脚本、配环境、踩 CUDA 坑的苦活，变成点几下鼠标的事。它统一了 LLaMA、Qwen、Mistral、Gemma 等数十个模型家族的全参数微调、LoRA/QLoRA、RLHF/DPO 对齐训练，WebUI（LLaMA Board）可以零代码完成整个流程。学术上已被引用 1000+ 次。

核心特性

模型广度：100+ LLM 与 VLM（视觉语言模型），新模型家族通常第一时间适配
训练方法全覆盖：全参、LoRA、QLoRA、freeze，预训练/指令微调/偏好对齐（DPO、KTO、ORPO 等）
高效技巧：FlashAttention-2、Unsloth 集成、GaLore、Liger Kernel，低显存也能跑大模型微调
LLaMA Board WebUI：浏览器里选模型、数据、超参，开训、看 loss、导出
推理与合并：训练完直接批量推理测速、导出合并权重、转 GGUF 喂给本地部署工具
多端部署：PyPI（pip install llamafactory）、Docker 镜像、Colab/ModelScope/HuggingFace Spaces 在线版

快速开始

bash

pip install llamafactory
llamafactory-cli webboard   # 打开 LLaMA Board WebUI

命令行党用 YAML 描述训练配置即可：

bash

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml

适用场景

企业定制垂直模型：拿自己的业务数据做 SFT 或偏好对齐
研究实验：统一框架下对比不同训练方法，不用为每个模型家族改脚本
显存有限的个人玩家：QLoRA + Unsloth 加持，消费级显卡也能微调 7B+ 模型

注意事项

版本迭代快，训练配置项随版本变化，升级后先跑官方 example 校验
多 GPU/多节点训练需要额外的分布式配置（DeepSpeed、FSDP）
微调效果高度依赖数据质量，工具解决的是"怎么练"，不是"练什么"

项目链接

GitHub 仓库：https://github.com/hiyouga/LlamaFactory
文档：https://llamafactory.readthedocs.io/
PyPI：https://pypi.org/project/llamafactory/