ByteNoteByteNote
按任务分组的模型 API 中转,让 agent 小活别吃大预算
字

字节笔记本

2026年11月6日 · 约 1 分钟读完

按任务分组的模型 API 中转,让 agent 小活别吃大预算

API中转
¥120

agent 的 API 账单里有个隐形黑洞:格式化输出、字段提取、摘要压缩这些「小活」,用的却是和复杂推理一样的贵模型。V2EX 上一位开发者分享了自己做的模型 API 中转 XCoffee,思路是按任务分流定价。

它分三个任务组:快速组(0.5 倍费率)、编码组(1.3 倍)、默认组(1 倍),换 Base URL 与模型名即可接入,支持 OpenAI Chat Completions、Anthropic Messages 与 Gemini 原生接口。¥50 可用 30 天(支付宝;海外 PayPal 8 美元),每天 300 积分、每小时上限 100,北京时间 8 点重置。

照例把边界说全:这是个人做的付费中转服务,不是开源项目;组内模型自动路由、不可指定,介意黑盒的别用;并发 4、每分钟 120 次,不适合大批量生产流量;不含文件上传与会话存储;0 条回复的新帖,尚无他人实测背书,别写成「已验证好用」。

对 agent 产品的开发者,这篇的启示比产品本身更有用:把你的 agent 账单按任务类型拆开算一遍,「规划用贵模型、格式化用便宜模型」这个分流思路,在任何中转服务上都能落地。对想入局的开发者,XCoffee 的「按任务分流」思路值得学:把你的 agent 账单按任务类型拆开算一遍,「规划用贵模型、格式化用便宜模型」这个分流方式,在任何中转服务上都能落地。另外 XCoffee 与本站写过的几篇 agent 成本工具放在一起看是一条线:Kagi 的付费搜索解决了「搜索太贵」、Modelflare 的按 token 计费解决了「模型太贵」、XCoffee 解决的是「agent 每次调用该用哪个模型」的分配问题。agent 成本优化正在从「手动选模型」进化到「按任务自动分流」,这个方向值得做 agent 基础设施的开发者关注。XCoffee 由 V2EX 用户 awendujitang 开发,目前只有他一个人在用,尚无他人实测背书。

相关文章

分享: