Replit 发布 Replit Missions:Mission Contract 定目标与预算,agent swarm 交付,AI judge 验收
Replit 于北京时间 11 月 18 日凌晨(美国时间 11 月 17 日)在官方博客发布 Replit Missions:用户以一份 Mission Contract(任务契约)写明目标成果、消费上限和哪些操作必须经过人工审批,平台协调一个 agent swarm(agent 集群)规划、构建、测试并迭代交付,最终由独立 AI judge(裁判)对照事先约定的成功标准验收。产品当日上线,入口在 Replit 侧边栏的「New」菜单里选「Mission」,然后描述目标。官方 X 账号在博客发布 13 分钟后发帖确认,称 Missions 是「把雄心勃勃的目标变成成果、在你设定的边界与预算内自主工作的 agent swarm 框架」,并链接官方博客。
博客给出两组量化口径。其一,Replit 让 Missions 为自己建造内部应用监控平台 DataCat,agent 集群 2 天内在 $3,000 封顶预算内完成,36 项数据正确性检查和 15 项告警可靠性检查全部通过;其二,在 13 项 NumPy 基准任务上,32-agent 集群在 Auto(Max)模式下最高跑出 19× 加速。两组数字均为 Replit 自报口径。
Mission Contract:先问清「什么算成功」,再划预算和审批线
用户可以从「拿下前 10 个付费企业客户」这类目标开始,不必事先决定瞄准哪些行业、联系哪些买家、先解决哪类客户问题。Replit 在博客里说明,寻找和评估这些方案本身就是被委托出去的工作的一部分。设置阶段,Missions 会反问用户来定义成功:对你的业务来说什么才算企业客户?付费试点算不算在前 10 个之内,还是必须签下超过最低金额的年度合同?这些回答决定任务优先处理哪些账户、如何度量结果。
边界在 Mission Contract 里一并约定:消费上限是多少、哪些动作需要许可、可以接受哪些权衡,比如是否提供付费试点、年度合同是否打折。博客举例:可以把任务消费封顶在 $1,000,并要求 agent 在联系潜在客户、发送方案、修改面向客户的销售材料或作出产品承诺之前先取得批准;随着任务推进、方案演变,这些限制和审批要求保持不变。
设置截图里还有一条产品层面的细则:预算输入框上方注明,这笔预算以美元计、只覆盖 Replit AI 用量而不含广告投放,任务到上限即停止工作,实际用量可能略微超出上限。
加速的来源:并行探索、共享发现
Replit 对 swarm 的解释是:多个 agent 同时探索多条解法、互相共享发现、在彼此的结果上继续推进。在性能优化这类问题上,agent 们并行测试不同实现,把共享发现用于改进自己的方案,并在逼近更快实现的过程中验证正确性。
测试在 13 项代表性基准任务上用 NumPy 进行:agent 探索替代实现、优化内存访问模式、自动验证正确性。Auto(Max)模式下,单个 agent 最高 4× 加速;16-agent 集群 17×;32-agent 集群 19×。Auto(Power)模式呈同样梯度:2×、7×、9×。博客特别指出,集群比单体走得更远——并行探索更多方案帮助 Missions 找到了快得多的实现。这批加速数字出自 Replit 自己的测试。
AI judge 按成功标准验收:达标才算完成,预算烧完就停工
任务启动后,用户选择想收到哪类通知——阻碍、进度更新或一般状态——以及频率:立即推送、每日摘要或每周一次。博客描述,此后可以合上笔记本,让云端 agent 继续工作;Missions 按设定发送更新,需要用户输入时主动来问。想细看时,已完成的工作、进行中的任务、下一步安排和等待审批的事项都可见。
验收由独立 AI judge 执行:它对照约定的成功标准检查结果,agent 依据其反馈继续改进;标准满足,任务才标记完成。博客写明了预算耗尽的后果:如果预算先烧完,工作停止,成果停留在未解决状态。
DataCat 案例:38 秒定位注入的数据库故障
Replit 的动机是把应用监控收回自建,以降低成本、获得更多控制权,于是把「建造一个可定制、跑在自己基础设施上的监控平台」作为目标交给 Missions。按博客口径,agent 集群按团队写进 Mission Contract 的目标,建成了包含仪表盘、告警和应用追踪的可运行平台;Missions 还建了 DataCat 自己的采集 agent 和追踪库,可以脱离原平台的 agent 与库独立运行。
为了验证 DataCat 能否帮助诊断故障,团队故意注入了一个数据库 bug:DataCat 在 38 秒后触发告警,快于 60 秒的目标,并把故障定位到具体的数据库查询及其日志。随后是 3 小时负载测试:Missions 为此搭建了示例应用,DataCat 存下 2,600 万条应用活动记录和 440 万条日志,零丢失,搜索与告警全程可用;数据正确性与告警可靠性两类检查合计 51 项,全部通过。
Replit 同日开源了可自托管的 DataCat,采用 Apache-2.0 许可;据仓库说明,DataCat 把指标、日志、分布式追踪、仪表盘和告警集成在一处,API、Web 界面、安装器与下载由同一个生产进程提供,支持 PostgreSQL 与 ClickHouse 两种存储引擎,接受 OpenTelemetry(开放遥测标准)数据,也兼容 Datadog agent 的公开摄取协议。
同题对比 Claude Code 构建:官方表格里互有胜负
博客里还有两组对比。与用同一初始提示词、在 Claude Code 里以 /goal 指令构建的监控平台相比:DataCat 接受原平台 agent 的全部数据类型——日志、指标、主机数据和 trace(链路追踪数据),Claude Code 构建只接受日志;API 兼容性检查上,DataCat 两个存储引擎各通过 51/56 项,Claude Code 构建通过 45/56;trace 摄入速度 49,000 条/秒(DataCat Postgres 引擎)对 9,800 条/秒,约 5 倍;指标摄入 405,100 点/秒(Postgres)对 224,600 点/秒,近 2 倍。博客同时写明 Claude Code 构建覆盖了更多产品面、日志摄入更快。
与原平台 agent(版本 7.56.2,博客未点名原平台;DataCat 仓库注明兼容 Datadog Agent 7.56.2 的摄取流量)的对比中:agent 对比用重复运行同一负载、一次一个 agent、双方都发往同一台 Radar 服务器;在负载与监控工作对等的 Node.js 测试里,使用 DataCat 的应用多处理 39% 的请求、监控相关的处理器开销减少 51%;DataCat agent 内存 82~108 MB,原平台 agent 为 319 MB(240 秒均值);日志变为可搜索的中位时间是 0.5 秒对 4.2 秒;存储引擎为 2 个(Postgres 和 ClickHouse)对 1 个(SQLite)。
博客自己列出了这批数字的边界:这些受控测试不能证明 DataCat 对上原平台托管服务或在 Replit 生产系统上的表现;构建对比每种配置只跑一次、在同一批云机上、只对双方共同覆盖的产品面打分;API 兼容性测试与数据正确性、告警可靠性检查分属不同的测试套件。
Self-Driving Company 叙事之外:能复跑的检验材料已开源
官方 X 帖文把 Missions 放进 Replit 自己的时间线:2024 年发布第一个正式可用的 Agent,到 2025 年已能自主工作超过 200 分钟。帖文附上 CEO Amjad 关于 Self-Driving Company(「自动驾驶公司」,Replit 的说法,指人定方向并承担责任、agent 承担执行与协调的公司形态)的愿景阐述;Replit 在 10 月 26 日发布的愿景文章里预测,到 2030 年底,财富 500 强每一家都会成为 Self-Driving Company。
官方博客还引用了另一个长程基准 E-Commerce Bench:agent 拿着 ¥100,000 开局资金经营线上商店一个模拟年度,自行选供应商、避开骗局、设定价格;Replit 称 Missions 在单次运行中把本金做到约 ¥482 万,约 48 倍,并称这是公开榜单最好成绩 3 倍以上的水平。这一结果同样出自 Replit 自报。
三组官方数字目前的可核验程度不同:E-Commerce Bench 的成绩页面公开,「超过公开榜单最好成绩 3 倍以上」可以直接去榜单对照;DataCat 已开源,仓库附带 bench/kit 基准工具和正确性、告警等测试,博客数字背后的原始结果存放在 bench/evidence 目录,38 秒告警与 51 项检查是否成立,可以在自托管环境里复跑对照;NumPy 基准的 19×,目前能依据的仍是 Replit 的自报口径。