Karpathy 的 nanochat：100 美元能买到的最好 ChatGPT

Karpathy 的 nanochat：60,269 星（2026-11-05 直读）、8,442 fork、MIT、Python。口号就是「The best ChatGPT that $100 can buy.」。最简实验性 LLM 训练框架，单 GPU 节点，代码极简可 hack，覆盖 tokenization、预训练、微调、评测、推理全流程。

一、核心数字

2019 年训练 GPT-2 级模型约 43,000 美元。用 nanochat 在 8xH100 节点上约 2 小时、约 48 美元（按仓库自述口径，3 美元每 GPU 每小时），spot 实例可低至约 15 美元。复杂度由单一旋钮 depth（层数）控制，其余超参自动按最优算出。GPT-2 级能力约等于 depth 26。

Speedrun 榜：以 DCLM CORE 分数衡量的「训到 GPT-2 水平」耗时竞赛，当前最快约 1.65 小时（2026 年 3 月 14 日纪录，d26 加 fp8 等优化）。2019 年原版 GPT-2 checkpoint 为参照，耗时 168 小时。

二、上手

uv 管理依赖，runs/speedrun.sh 即参照跑法。另有 Discord 频道与 DeepWiki 问答入口。

三、判断

nanochat 的价值不在「又一个训练框架」，而在它把「训一个自己的 GPT-2」从研究项目变成了周末实验。对本地大模型派和想理解 LLM 全流程的开发者，这是目前最短的学习路径。但别把它当生产框架：它是实验性 harness，目标是教学与 speedrun，不是 serving。

来源：github.com/karpathy/nanochat（第一手，README，2026-11-05 直读）。