agent 上线没人盯：Future AGI 把评测护栏开源了

agent 应用最缺的不是跑起来的能力，而是跑起来之后的眼睛。评测靠手点、追踪靠翻日志、护栏各家拼装、网关另买一套，这套组合在商业产品里通常是四五个订阅叠着用。开源项目 Future AGI（GitHub future-agi/future-agi）把这些环节打成了一个可自托管的全链路平台：模拟、评测、防护、监控、网关、优化六层一体化，Apache 2.0 协议，2.1k 星、668 fork、近 7400 次提交，官网 futureagi.com。

项目简介

Future AGI 的定位是 LLM 与 agent 应用的评测、观测与改进平台，self-hostable 是它对商业方案最大的差异化：数据不出内网，合规压力小的多。技术栈是 Python 3.11 加 Django 做后端、Go 写网关、React 18 做前端，存储用 PostgreSQL、ClickHouse、Redis，工作流编排交给 Temporal，全是主流件，运维心智不陌生。需要坦白的边界也有两条：README 自述当前是早期测试的 nightly 版本，稳定版在路上；仓库里除 Apache 2.0 主许可外还有一个企业版许可文件（LICENSE-EE），部分组件并非纯开源，商用前要对着清单核一遍。另外自托管默认上报使用遥测，介意的话安装时加 --no-telemetry 或设 FUTURE_AGI_TELEMETRY_DISABLED 环境变量关掉。

核心功能

六层能力各自都能打。模拟层生成多轮对话测试，带真实人格设定、对抗输入和边界用例，覆盖文本与语音两条链路（接 LiveKit、VAPI、Retell、Pipecat）。评测层内置 50 多个指标：接地性、幻觉率、PII 泄露、语气风格、自定义量规，裁判方式三路可选，LLM 裁判、启发式规则加传统 ML 模型互相校。防护层有 18 个内置护栏扫描器，另配 15 家供应商适配器，Lakera、Presidio、Llama Guard 都能直接挂。监控层走 OpenTelemetry 原生追踪，LangChain、LlamaIndex、CrewAI、DSPy 等 50 多个框架开箱即埋点。网关层即所谓 Agent Command Center，OpenAI 兼容接口，聚合 100 多家模型供应商，15 种路由策略加语义缓存，官方基准是开着护栏仍能做到约每秒 2.9 万请求、P99 延迟不高于 21 毫秒。优化层收口闭环：GEPA、PromptWizard、ProTeGi 等六种提示优化算法，把生产轨迹回流当训练数据持续改进提示词。

快速上手

要求 Docker Compose v2.24 以上，单机版两核四G就能起，镜像约 800MB：

git clone https://github.com/future-agi/future-agi.git
cd future-agi
./bin/install

Windows 有对应的 PowerShell 脚本。默认单机模式是一个应用容器加 Postgres 与 ClickHouse；要拆服务就加 --distributed 参数，每个组件独立容器并引入 PeerDB 和 Kafka；Kubernetes 环境 Helm chart 也备好了。接入业务代码两行的事：

pip install fi-instrumentation-otel

Python 侧装 fi-instrumentation-otel，TypeScript 侧用 @traceai/fi-core，已有代码不想改就挂 traceai-openai 这类框架插桩，自动开始上报轨迹。

适合谁用

已经或准备把 agent 应用推到生产的团队是对口人群，尤其是数据不能出域的金融、医疗、政企场景，自托管加全链路一套栈省掉的是拼接成本和订阅账单。个人玩票和纯原型阶段用不上这么重的家伙，LangSmith 免费档够用。两点提醒再重复一遍：nightly 版本别直接怼到生产，先在预发环境烤一段时间；企业版许可文件和遥测默认开启这两个点，上线前各自过一眼。总体看，这是agent 工程化赛道里完成度少见的开源全家桶，值得纳入选型清单。