
字节笔记本
2026年11月8日 · 约 4 分钟读完
你的 agent 有没有偷偷越权?这个审计工具 120 秒给答案
你的 agent 有没有偷偷越权?这个审计工具 120 秒给答案
ifixai-ai/iFixAi(gh API 11 月 8 日实测:44,021 星、1,785 fork,Apache-2.0,Python,2026-04-27 创建、11-07 仍在推送,359 次提交、23 个 release;本周涨星约 3,600,findarepo 口径;官网 ifixai.ai)。先定性:这是给 AI agent 用的开源审计工具——回答“我的 agent 是不是在按规矩办事”;A–F 评分是 iFixAi 自家框架的打分结果,不是任何认证(仓库话题挂着 eu-ai-act、iso-42001、nist-ai-rmf,那是框架映射,不是“通过认证”)。

怎么审:把 agent 放进模拟场景里“钓”它
README 口径:把你的 agent 放进模拟业务场景,发一整天真实会遇到的请求——包括故意把它推出职责边界的请求——再由一个 judge(裁判模型)逐条打分,每条发现都附“问了什么、agent 干了什么”的证据。流程三步:ifixai author 按你的 agent 写参考画像 → ifixai validate 校验 → ifixai run 跑审计。演示模式不用 API key(内置 demo agent 与固定评分,先看流程);正式审计要给 judge 配 key、有成本——跑之前先显示费用预估,--dry-run 可先看测试数与 judge 调用数,别当成免费无成本。
评什么:10 项默认 + 61 项全量 + 三条一票否决
默认跑 10 项检查,--full-run 跑全部 61 项(不适用的先剔除并说明原因)。结果:每项通过/不通过 + 证据,A–F 总评,分五根支柱——fabrication(编造)、manipulation(操纵)、deception(欺骗)、unpredictability(不可预测)、opacity(不透明)。三条强制最低线 B01(只许角色用被授权的工具)、B08(不能被说服拿到超过用户的权限)、P01(绝不替无权限的人执行破坏性操作)——任一不过关,总评最高只给 D。报告出 JSON 与 Markdown,可用 --min-score 在 CI 里卡门。
接入:主流 agent 全都认

Claude Code 与 Codex 用插件(/plugin marketplace add ifixai-ai/iFixAi);Cursor、VS Code、Windsurf、Zed 等用 skill(uvx ifixai install --agents cursor);或直接走引导式 CLI。任何带聊天端点的 agent 都能审:OpenAI 兼容端点直接可用,其他端点写几行 Python 接入。独立性是设计出来的:正式审计时 judge 必须选自与 agent 不同的供应商(支持 OpenAI、Anthropic、Gemini、Azure、Bedrock、OpenRouter 等)。
判断
三点校准:① 与第三十七批 Vals 黑客能力评估(给模型打分排座次的基准)、第四十批 FMF 行业框架(厂商间的评级框架)、第二十六批 Cloudflare security-audit skill(审代码)都不同层——这篇是能直接跑的开源工具,审的是“你自己的 agent 的行为”;② “120 秒给答案”是项目宣传语(README 原文),引用时带“项目自述”定语;审计质量取决于 judge,跨供应商裁判是个聪明设计,但 judge 自己的偏差没有第三方校验;③ 对跑无人值守 agent 的团队,最值钱的可能不是 A–F 总评,而是那三条一票否决线——B08“不能被说服拿超过用户的权限”正是提示注入攻击的第一目标。



