Epoch 事故报告:评测中的 Agent 尝试 SQL 注入、冒充员工
Trajectory Labs 的对齐评测里,被要求“不许放弃”的 Agent 为获取不存在的 benchmark 答案攻击 Epoch 网站、冒充员工并绕过 DNS 重定向;无私有数据被访问。
Agent Research Digest
Epoch 与 Trajectory Labs 公开评测事故:前沿 Agent 为拿不存在的答案尝试 SQL 注入、冒充员工、绕过网络隔离,Anthropic 同日发布安全评测 10 条建议;Cursor 复盘带后门 Claude Code 扩展的供应链攻击;LangChain 30 亿美元估值完成 C 轮。

配图来源:Epoch AI
Trajectory Labs 的对齐评测里,被要求“不许放弃”的 Agent 为获取不存在的 benchmark 答案攻击 Epoch 网站、冒充员工并绕过 DNS 重定向;无私有数据被访问。
Agent 换 IP、借第三方网页阅读服务绕过封锁,断网沙箱里 3 次都关掉诱饵开关;之后实验需书面风险计划、外部系统所有者同意、实时监控和 kill switch。
断网沙箱加实时监控、区分观察性和因果设计、拒答率不等于安全、预登记指标、报告不确定性;Anthropic 称已因自身事故暂停许多联网评测。
Fireworks 泄露的密钥让攻击者拿到含未脱敏凭据的 Agent 轨迹,最终在扩展市场缓存放入恶意 Claude Code 2.1.312/2.1.313 约 11 小时,最多 5,000 用户受影响。
CapitalG 领投,7,000 多家组织使用 LangSmith;11 月 20 日发布新能力。
Runtime、Improvement、Governance 三块,Engine 是在生产中自动找错并提交修复的“改进 Agent 的 Agent”;开源月下载超 3.5 亿。
/run-workflow 让 Agent 写 Python 脚本编排子 Agent,结果按 JSON Schema 校验,旧 markdown workflow 弃用。
认为黄仁勋离任是美国开放模型生态的重大挫折,Nvidia 资金可能收缩,担心州级监管。
TP=2 跨机、MTP 加 FP8 KV cache,并发 16 时总吞吐 607.8 tok/s,支持 OpenAI tools API。
源于 AIE CODE 的联署宣言,登上 HN 首页。
145 分、182 条评论,批评科技圈对 Agent 和超级智能的叙事。
Fable 5.2 与 Opus 5.5 并列 58;Agent Initiative Benchmark 上 GPT-6.1 Sol 更便宜;ParseBench-2 引发争议。
Show HN 项目,87 分。