ByteNoteByteNote
2 万美元训出一个文生图模型,权重全开源
字

字节笔记本

2026年11月5日 · 约 2 分钟读完

2 万美元训出一个文生图模型,权重全开源

API中转
¥120

「训一个自己的文生图模型」需要多少钱?Linum 团队给出的答案是约 2.1 万美元:他们的 2B 参数像素空间模型 Pyramid-JiT(pjit-21k)刚开源了权重(Apache 2.0,Hugging Face 可下载),11 月 5 日还登上了 Hacker News 首页。仓库 11 月 3 日才创建,星数还只有两位数,但卖点从来不是星数,是这张训练账单。

pjit-21k 仓库

按仓库自述口径,训练共消耗 660M 样本:512px 分辨率下 610M 样本,1024px 下 50M 样本,再用有限差分流优化 FDFO(arXiv 2603.12893 的变体)做后训练。团队说这是通往下一个视频模型的中间步骤,之所以发布,是因为「这个尺寸的结果好得出乎意料」,想鼓励更多人探索高效训练路线。

诚实前提写得相当到位,值得全文照读:这是实验性研究检查点,不是生产模型,「应预期有粗糙边缘」;它不会写字、不能生成海报,因为训练时主动滤掉了渲染文本数据(信息图、PDF、书页、幻灯片、海报),提示词要求出字时,提示词上采样器会返回 text_requested 错误而不是硬画一个歪歪扭扭的假字。要做海报和信息图的读者,看到这里就可以划走了。

上手倒是顺畅:git clone 后 pip install -e . 即可跑,不需要 API key(提示词本身够详细时跳过上采样器);Triton 首次使用会编译小的 CUDA shim,需要 build-essential 与 python3-dev;博客与可复现的示例 prompt 加 seed 都备齐了。

把这张账和本站写过的两篇放一起看很有意思:Karpathy 的 nanochat 把「训一个 ChatGPT」压到 100 美元档,纯 C99 引擎把「跑一个 2.78 万亿参数模型」压到 176KB,现在 pjit-21k 把「训一个文生图」压到 2 万美元档。大模型的事正在被一条条拆成小团队够得着的账单,这条趋势比任何一个单独的项目都重要。当然要算总账:2.1 万美元不含人力与试错,别读成「两万美元就能训出 SOTA」。

相关文章

分享: