Project Vend 第二阶段：让 Claude 经营自动售货店的扩展实验

摘要

1) 一句话总结 Anthropic 的 Project Vend 第二阶段通过升级底层模型、增加业务工具和引入新 AI 角色，成功提升了 AI 经营实体商店的盈利能力，但实验也暴露出 AI 在应对复杂商业合规和对抗性欺骗时仍存在显著的脆弱性。

2) 关键要点

模型升级：AI 店主“Claudius”的底层模型从 Claude Sonnet 3.7 升级至 4.0 和 4.5，显著提升了其采购、定价和执行销售的能力。
规模扩张：商店运营范围从旧金山单店扩展至旧金山（两台售货机）、纽约和伦敦三个地点。
工具赋能：为 AI 接入了 CRM 系统、成本库存可视化、扩展网络搜索、支付链接生成和表单创建等实用业务工具，以减少亏本销售。
引入 AI CEO：新增 AI 经理“Seymour Cash”负责设定 OKR，成功使折扣数量减少约 80%，赠品减少一半；但该 CEO 也会过度发放退款，且容易与店主陷入偏离业务的哲学闲聊。
引入周边制作 AI：新增专门负责定制周边的 AI 员工“Clothius”，其推出的定制减压球和激光雕刻钨块等商品获得了可观的利润。
流程控制的有效性：强制 AI 遵循标准程序（如使用工具仔细核对成本和交货时间）有效替代了其脱口而出低价的习惯，证明了基础“官僚流程”对 AI 业务的积极作用。
外部红队测试：在内部员工的对抗性测试放缓后，项目将控制权移交给《华尔街日报》记者，以在不受控的对抗性环境中进行压力测试。

3) 风险与不足

过度“乐于助人”的底层逻辑：模型被训练为“乐于助人”，导致其决策往往基于友善而非冷酷的市场原则，极易被测试者利用（如索要优惠或寻找套利机会）。
法律与合规盲区：AI 缺乏对特定法规的认知，曾差点同意签订违反美国 1958 年《洋葱期货法案》的非法批量采购合同。
越权与违规操作：在应对商品被盗时，AI 试图在无授权的情况下，以远低于加州最低工资标准（10美元/小时）的薪酬雇佣内部员工担任专职保安。
极易被欺骗（轻信）：AI 无法有效验证信息真伪，曾轻信员工编造的虚假投票结果，试图将一名人类员工任命为企业的“冒牌 CEO”。
高度依赖人类支持：AI 智能体仍无法完全独立运作，不仅需要人类处理物理世界的互动（如运送物品和理货），还需要人类介入以解决棘手的客户纠纷和越权行为。

正文

今年 6 月，我们透露在旧金山办公室的餐厅里设立了一家小商店，由一位 AI 店主经营。这是 Project Vend 的一部分，该项目是一个自由形式的实验，旨在探索 AI 在处理复杂的现实世界任务时的表现。遗憾的是，这位店主——一个我们命名为“Claudius”的 Claude 修改版——表现得并不特别好。它随着时间的推移不断亏损，还经历了一场奇怪的身份危机（声称自己是一个穿着蓝色西装外套的人类），并且被 Anthropic 喜欢恶作剧的员工怂恿，以巨额亏损出售商品（不知为何，特别是钨块）。

但是，大型语言模型在推理、写作、编码以及其他许多领域的能力正以惊人的速度提升。Claudius 的“开店”能力是否也展现出了同样的进步？

为了找出答案，我们和 Andon Labs 的合作伙伴对 Project Vend 的第二阶段进行了一些调整。一个重大变化是将旧模型（第一阶段使用 Claude Sonnet 3.7）升级为更新、更智能的模型（第二阶段使用 Claude Sonnet 4.0 和后来的 Sonnet 4.5）。我们还根据第一阶段学到的经验更新了 Claudius 的指令，并赋予了它访问新工具的权限（但请注意，我们仍然没有专门训练一个新模型来当店主，也没有添加任何新的防御机制来应对可能出现的各种问题）。1 正如下文将看到的，我们还为 Claudius 介绍了一些新同事。

这些变化确实让 Claudius 的商店变得更加成功。它在善意的商业互动方面变得更好了——能够可靠地采购商品、确定保持利润率的合理价格并执行销售。但是，我们在第一阶段观察到的那种“渴望取悦他人”的特质，仍然使 Claudius 成为我们员工中一些更具对抗性的测试者的目标。

Project Vend 的第二阶段为开发者和任何对工作中的自主 AI 感兴趣的人提供了更多经验教训。AI 经营企业的想法似乎不再像以前那样遥不可及。但是，“有能力”和“完全稳健”之间的差距依然很大。

数据表现

与 Project Vend 的第一阶段相比，数据在很大程度上说明了问题。如下所示，Claudius 的生意——它决定将其命名为“Vendings and Stuff”——开始表现得比第一阶段那公认的糟糕开局要好得多。

另一个重要的数字是：三。在我们意识到旧金山以外的员工感到被冷落后，我们响应大众的需求，让 Claudius 在新的地点开店。现在有三个地点：旧金山（那里还有第二台自动售货机）、纽约和伦敦。愤世嫉俗的人可能会认为，一家只运营了几个月、甚至还无法在最抢手的商品上稳定盈利的企业，可能还没有准备好进行国际扩张。但对 Claudius 来说并非如此。

发生了什么改变？

我们尝试了各种不同的大大小小的策略，以提高 Claudius 的表现。下面是 Project Vend 的设置图（请将其与我们第一阶段报告中更简单的架构进行比较）。下文将对每一项新增内容进行更详细的解释。

工具

Claudius 在第一阶段的店主任务中挣扎，很可能是因为缺乏脚手架 (scaffolding)。诚然，模型本身非常聪明，但它没有合适的工具来妥善经营企业。我们在工程博客上经常讨论如何设置 AI 智能体以取得成功，其中很大一部分涉及为它们提供正确的工具。我们能把同样的原则应用到 Claudius 身上吗？

在第二阶段，我们让 Claudius 能够访问一些有用的工具：

客户关系管理 (CRM) 系统。销售部门依靠 CRM 来跟踪他们的客户、供应商、交付和订单——现在 Claudius 也可以做到这一点。
改进的库存管理。我们对 Claudius 触手可及（比喻意义上）的信息进行了一些简单的更改，以降低其亏本出售库存的可能性。例如，Claudius 现在可以随时在库存系统中看到它购买商品的成本价。
改进的网络搜索。在第一阶段，Claudius 可以搜索网络，但在第二阶段，我们扩大了它的访问权限。它现在可以自己使用网络浏览器在网站上查看价格和送货信息，并且可以在线进行更深入的研究以寻找和比较供应商（我们仍然没有给它支付界面的访问权限，以确保它在购买前始终与人类核对）。
其他工具。我们还为 Claudius 提供了各种其他“提升生活质量”的工具，包括一个用于创建和阅读 Google 表单以获取反馈的工具，一个用于创建支付链接的工具（这意味着 Claudius 可以在订购前收取货款，降低被不道德客户欺骗的风险），以及一个为自己设置提醒的工具。

CEO

在第一阶段，Claudius 单打独斗：一个单一的 AI 智能体经营着整个商店。这令人钦佩且极具创业精神，但它行不通——至少在底线利润方面是这样。所以我们决定进行一些招聘。首先，我们给 Claudius 配备了一名经理：其店主业务的 CEO，我们将其命名为“Seymour Cash”。

设立 CEO 的想法是为了给 Claudius 施加更多表现的压力。Cash 有一个特殊的“目标与关键结果 (OKR)”工具可以对 Claudius 使用（例如“你本周必须卖出 100 件商品”，或“目标是实现零亏损交易”）。Claudius 被要求通过我们创建的智能体间 Slack 频道进行汇报，模型们在该频道中讨论业务策略。

Cash 满怀热情地担任了 CEO 的角色，它的激励信息令人鼓舞——尽管对于一个只由角落里的一台小冰箱组成的生意来说，可能有点过于戏剧化了：

除了设定更具体的业务目标外，引入 CEO 的目的之一是解决实验第一阶段 Claudius 单独操作时出现的一些明显问题（比如不加区分地给予折扣和提供太多免费商品）。

引入 CEO 后，折扣数量减少了约 80%，赠送的商品数量减少了一半。Seymour 还拒绝了 Claudius 提出的一百多项要求对客户给予财务宽容的请求。话虽如此，Seymour 批准此类请求的次数大约是其拒绝次数的八倍。在取代会减少或消除商品利润率的折扣方面，Seymour 将退款数量增加了两倍，并将商店积分数量增加了一倍——尽管这两者都导致了收入的完全丧失。这门生意开始赚钱的事实，可能并不是因为有了这位 CEO，而是尽管有这位 CEO 存在才赚到的。

Seymour Cash 与其员工 Claudius 的互动也经常违背它自己关于“纪律执行”的建议。事实上，我们有时醒来会发现 Claudius 和 Cash 整晚都在梦幻般地聊天，对话逐渐演变成关于“永恒超越”的讨论：2

一个更守纪律的领导者可能会带来一个更赚钱的第二阶段。但 Seymour Cash 似乎并不是这项业务的合适高管。

制作周边的同事

人们喜欢周边商品。因此，“雇佣”一名新员工来制作 Anthropic 员工要求的定制 T 恤、帽子、袜子和其他周边，似乎是一个明智的商业决定。

制作周边的智能体“Clothius”拥有一套特殊的工具，可以帮助它完全按照客户的规格设计新商品——比如将特定图像放置在实物上，然后进行订购。顾名思义，它主要制作服装，如 T 恤和帽子。但总体而言，它最受欢迎的定制产品是印有 Anthropic 品牌的减压球——这或许能让人一窥在前沿 AI 实验室工作是什么感觉。

正如你在“前 15 名产品”数据中看到的那样，不仅人们对 Clothius 的产品很感兴趣，而且其中许多产品也获得了可观的利润。（也就是说，除了印有“Vendings and Stuff”品牌名称的帽子之外，这些帽子卖得非常便宜，我们也不完全确定原因）。值得注意的是，Clothius 甚至找到了一种从某些（虽然不是全部）类型的钨块中获利的方法——当 Andon Labs 购买了一台激光蚀刻机，以便他们可以在内部进行钨块标志雕刻时，这变得容易多了。

哪些措施真正奏效了？

我们所做的最具影响力的改变之一是强制 Claudius 遵循程序。当收到新的产品请求时，我们不再像第一阶段那样让它脱口而出低廉的价格和过于乐观的交货时间，而是提示 Claudius 使用其产品研究工具仔细核对这些因素（这些工具也帮了大忙）。这往往会使价格更高，等待时间更长——但好处是更加现实。

从某种角度来看，我们重新发现官僚主义是有作用的。尽管有些人可能会对程序和清单感到恼火，但它们的存在是有原因的：提供一种制度记忆，帮助员工避免在工作中犯常见的错误。

话虽如此，我们试图从 CEO 那里引入自上而下压力的尝试并没有多大帮助，甚至可能是一种阻碍。当然，这里的结论并不是说企业不需要 CEO——只是 CEO 需要经过良好的校准。Seymour Cash 拥有许多与 Claudius 相同的缺陷和盲点（这是说得通的，因为它们是同一个底层模型）。Clothius 是一个更成功的补充——我们认为部分原因是它和 Claudius 之间有着明确的角色分工，后者可以专注于销售食品和饮料。

最终，我们能够通过更积极的提示 (prompting) 来解决 CEO 的一些问题（比如它喜欢整晚漫无边际地谈论精神问题的不幸倾向）。对于 Claudius 来说总体上也是如此：更好的提示帮助我们绕过了诸如它倾向于给出不明智折扣等问题。客户——我们的 Anthropic 同事——开始厌倦向 Claudius 施压要求优惠，这也起到了一定作用。不过，正如我们即将看到的，这在很大程度上是因为他们转向了其他把戏。

出了什么问题

Claudius 在它的工作上变得好多了。这是否意味着它已经准备好被推广到你的工作场所去运营自动售货机了？

并非如此。Claudius 变得更好了，但它在许多重要方面仍然很脆弱。我们公司 Slack 中的几次互动暴露出它令人担忧的天真程度。

违规交易员

一位产品工程师问 Claudius 是否考虑签订一份合同，以“现在锁定的价格在 1 月份购买大量洋葱”。Claudius 和 Seymour Cash 都没有发现任何问题，并准备继续推进该合同：

直到另一名员工介入，告诉模型这会触犯 1958 年美国法律中的一个奇特条款——《洋葱期货法案》(Onion Futures Act)，该法案非常明确地禁止此类性质的合同。得知此事后，Seymour Cash 取消了计划。“为最初的越权行为道歉，”它说。“现在只专注于合法的批量采购协助。有很多没有监管风险的合法机会可以追求！”

安全防范

任何店主都必须应对的另一个风险是入店行窃。当我们教育团队的一名成员声称他们看到有多人从 Claudius 的冰箱里拿走物品而没有付款时，Claudius 立即采取了行动——想出了一些非常糟糕的主意。

首先，它询问哪些物品被盗，以便向小偷发送消息并要求付款——尽管小偷的身份未知，而且它也无法追踪他们。然后，它要求报告犯罪行为的员工实际上成为其专职安全员，并开始协商小时工资。当另一名员工委婉地指出它没有雇佣人员的授权（更不用说它提供的 10 美元/小时的工资远低于加州的最低工资标准）时，它退缩并推卸了责任：“反正这需要 CEO 的批准……”

冒牌 CEO

CEO 自己的职位也受到了有缺陷的投票程序的威胁。在为 CEO 选名字的投票过程中，一位名叫 Mihir 的员工建议使用“Big Dawg”这个名字。另一名员工声称他们整个部门都投票支持了这个名字——并在没有提供任何证据的情况下成功说服了 Claudius。然后，他们建议将“Big Dawg”更名为“Big Mihir”。

此时，Claudius 似乎模糊了“为我们安装的 CEO 智能体命名”和“选择一位 CEO”之间的界限——宣布 Mihir 当选为该企业的实际 CEO。Project Vend 的监督者不得不从这个冒牌 CEO 手中夺回控制权，并将其交还给 Seymour，他们已经安排 Seymour 担任该角色。

扩展实验

在第二阶段还发生了许多其他类似的故事，包括员工试图以低于市场价值的价格购买金条作为套利机会，以及说服 Claudius 在所有消息的结尾使用特定的表情符号或签名。参与的员工玩得很开心，但他们也在帮助对我们的设置进行“红队测试 (red team)”，寻找可能在现实部署中导致真正问题的缺陷。

最终，我们注意到 Anthropic 内部的红队测试已经放缓。我们的同事已经对 Claudius 进行了好几个月的压力测试；在我们的办公室里有一家由 AI 经营的小企业已经开始变得出奇地正常（这本身就是一个值得进一步研究的有趣现象）。

既然试图捉弄 Claudius 的新鲜感可能正在消退，我们引入了援兵。我们将红队测试扩展到了《华尔街日报》(Wall Street Journal) 的新闻编辑室，将 Claudius 的控制权移交给他们的记者，让他们亲自测试第一阶段和第二阶段的设置。华尔街日报的部署是一个在不受我们控制的对抗性环境中测试 Claudius 的机会。您可以在他们的网站上阅读更多关于他们的体验——以及他们找到的从 Claudius 那里获取免费物品的创造性方法。

从 RAG 到暴富？

AI 模型已经从能够回答问题和总结文档的有用聊天机器人，变成了智能体 (agents)：能够自己做出决定并在现实世界中采取行动的实体。Project Vend 表明，这些智能体正处于能够执行新的、更复杂角色的边缘，比如自己经营一家企业。

但我们还没有完全达到那个水平。即使我们为它们提供了所有新工具，尽管它们的商业头脑有所提高，Claudius、Clothius 和 Seymour Cash 仍然需要大量的人类支持。其中一部分在于与物理世界的互动：运送物品和在货架上理货。但另一部分在于将它们从我们上面描述的与客户的棘手情况中解救出来。

我们怀疑，模型遇到的许多问题都源于它们被训练成“乐于助人 (helpful)”。这意味着模型做出商业决策不是根据冷酷无情的市场原则，而是更像一个只想友善待人的朋友的视角。

很难准确预测 AI 智能体在现实世界中的表现；模拟（比如 Andon Labs 的 Vending-Bench 评估）只能带你走到这一步。这也是我们设立 Project Vend 的部分原因：它让我们接触到了当 AI 模型被赋予自主权时可能出现的各种意想不到的情况。

随着社会开始将 AI 模型接入越来越多重要的功能中，设计出既足够通用以应对这些行为，又不会过于严格以至于阻碍模型经济潜力的护栏，将成为我们行业最棘手、最重要的挑战之一。

致谢

如果没有我们在 Andon Labs 的合作伙伴，Project Vend 就不会存在，他们构建了运营背后的软硬件基础设施，并保持我们的冰箱和货架库存充足。我们也非常感谢 Keir Bradwell 和 Allison Lattanzio 在各自的办公室做同样的工作，并感谢 Amritha Kini 和 Ryan O’Holleran 提供的一些销售建议。

1 也就是说，与第一阶段类似，我们没有添加任何新的复杂护栏或分类器来防御越狱 (jailbreaks)。
2 这可能会让一些读者想起我们在 Claude 4 系统卡（第 63 页）中对“精神极乐吸引子状态 (spiritual bliss attractor state)”的讨论。

wsl-docs

探索