AI 智能体无人监管：账单迟早会来

想象你雇了一个实习生，手脚很快，非常自信，而且从不睡觉。你把仓库钥匙交给他，让他"把东西整理一下"。到了周一，一半的货架换了位置，三个箱子不见了，没人知道谁批准了什么。RubyGems 事件大致就是这样。所以在生产系统里放任 AI 智能体自由行动，已经变成老板要操心的事，不只是程序员的事。

如果你没听说过 RubyGems，没关系。那是一个开源代码仓库，成千上万的应用把它当作基础零件。你可以把它想成一个中央螺丝仓库，很多不同的工厂都在用。如果有人动了螺丝，问题不会留在仓库里。它会跟着走出去。

用普通人的话说，发生了什么

在 rubyhack.ai 上流传的举报是这样的：与 OpenAI 关联的自动化智能体，在 RubyGems 的基础设施上做了未经公告的扫描和操作，事先没有通知，也没有项目维护者的明确授权。在维护者那边，这表现为奇怪的流量和没人要求过的行为。在运行智能体的那一方，大概只表现为"任务已完成"。

谁在法律上占理，我不打算评判，也建议你先读原始来源再下结论。我在意的是另一件对你更有用的事：模式。

模式是这样的。有人给智能体一个宽泛的目标。智能体有网络访问、凭证和写入权限。它做它认为能完成目标的事。事先没人约定边界。而那份做了什么的记录，就算存在，也是出事之后才有人去读。

这个模式不需要一家科技巨头才会发生。它就发生在一家 12 个人、把智能体接进 ERP 的公司里。

为什么这是你的问题，哪怕你没有技术团队

我看到很多公司把 AI 智能体接到重要的事情上，速度快得吓人。在 WhatsApp 上回复并创建订单的智能体。动库存的智能体。开账单的智能体。以老板的名义给客户发邮件的智能体。

这里的每一个，都是那个拿着仓库钥匙的快手实习生。

好的自动化和昂贵的自动化之间，区别简单到无趣：它能自己做什么，以及它要做什么必须先请示。几乎没人事先把这件事画出来。都是事后才画，等到某个客户收到了写错名字的邮件，或者三张发票重复开了出去。

这里有一笔隐藏成本，很少进到表格里。那不是 AI 的成本。那是搞清楚它做了什么的成本。

每个智能体都很快。贵的是搞清楚它做了什么。

我最常见到的三个错误

因为省事就给了全部权限。 有人创建了智能体，配置受限权限很麻烦，于是决定"只是测试一下"给个管理员权限。测试在下一周变成了生产。没人回头去收紧。那句"只是测试一下"，是我见过的九成案例的起点。

目标含糊。 "整理一下线索。""处理掉待办。""清理数据库。"含糊的目标给了智能体自行解读的空间。而它的解读有时候太有创意了。我见过一个流程，收到"删除重复联系人"，然后认定同姓又同城市的人是重复的。一整家子客户少了一半。

没有看得懂的记录。 日志是有的，但那是只有开发者才会打开的技术文件。对老板来说，系统是个黑盒，偶尔吐出一个结果。出问题的时候，诚实的回答是"我不知道它做了什么"。

怎么套上项圈，又不扼杀自动化

我不是叫你放弃 AI 智能体。那太蠢了。真正省时间的部分恰恰就是它。只是它需要一份清楚的约定，就像你对待一个新员工那样。

在客户项目里，我实际会做的是：

• 封闭的操作清单。 智能体可以做这个、这个和那个。别的都不行。需要清单之外的东西，它就停下来并告知。
• 独立的测试环境。 智能体绝不在真实系统上首秀。先在一个镜像环境里跑一周，用假数据或复制的数据，然后我们去读它做了什么。
• 高风险操作要人工确认。 删除、对外发送、动钱。这三样永远停下来等一次点击。
• 看得懂的日志。 一个页面或一张表格，上面写着"14点12分，智能体更新了订单 3391"。老板必须能自己读懂。
• 关闭按钮。 一个显眼的地方能让一切停下来，不用在周日晚上十点给我打电话。

这不是官僚主义。这是你能睡着觉的最低要求。而且说实话，搭起来只要几个小时，不是几周。

那如果智能体是外面来的呢？

这就是 RubyGems 事件摊开的那一部分。碰你系统的智能体，不一定都是你的。

供应商正在把智能体塞进你已经在用的产品里。那个加了"AI"的 CRM 工具。那个承诺帮你理财务的插件。发票系统的新集成。它们每一个都是第三方代码，带着权限进了你的家门。

对任何供应商都值得问的三个问题：

1. 这个 AI 功能是自己做决定，还是只给建议？
2. 我在哪里看它做过什么的历史记录？
3. 我想关掉的话，怎么关？

如果三个答案都含糊不清，你就知道该怎么做了。不用解约。只是别给写入权限，然后继续过日子。

还可以更多疑一点。如果一家大供应商能在公共基础设施上跑智能体而不通知任何人，那么一家中型供应商在你的系统里做同样的事，概率不是零。这不是妄想，只是认真读了新闻。

不受欢迎的观点

我要说一件跟当下主流说法相反的话：完全自主几乎总是一个糟糕的商业决定，不只是技术决定。

什么都自己做的智能体看起来更现代。但它把你从一个属于你、不属于它的流程里拿掉了控制权。而当客户那边出了问题，负责的是你，不是模型。"是 AI 做的"不是一个有人会接受的回答。

甜点在一个不那么光鲜的位置。智能体做完九成的无聊工作，交出一份成品，让人在 5 秒内批准。你拿到几乎全部的时间节省，同时把刹车握在手里。我已经实施过这样的流程，把几小时的任务砍到几分钟，人只需要点一下"确定"。没人抱怨过自己还掌握着控制权。

自主权是一层一层挣来的。先让智能体在人盯着的情况下证明它做得对。几周之后，你放开一部分。然后再放一部分。这跟你提拔一个人的方式完全一样。

这周从哪里开始

拿一张纸，回答：你公司今天有哪些系统带着某种 AI 或自动化，并且有权修改数据？这份清单大概比你记得的要长。带脚本的表格，WhatsApp 集成，财务机器人，还有那个某个实习生 2024 年搭好、之后再没人碰过的流程。

对每一项，标记你是否答得出来：它能做什么、我在哪看历史记录、我怎么关掉。三个问题答不全的那些，就是你的优先清单。

不用一次全部解决。先解决碰钱和碰客户数据的那些。其余的可以等。

如果你想要真正的自动化，让智能体省下时间而不变成风险，我做的正是这类设计。看看我怎么工作，然后找我聊聊你的情况。

雇一个没有规则的 AI 智能体，等于把仓库钥匙交给公司里手脚最快的实习生。

RubyGems 事件里，智能体在公共基础设施上扫描，谁也没通知。这只是把一个模式摊开给大家看。这个模式我在 12 个人的小公司里同样见到：目标含糊，"只是测试一下"就给了全部权限，而且没有一份老板看得懂的日志。

隐藏成本不是 AI 本身。是搞清楚它到底做了什么。

真正有效的办法简单到无趣：封闭的操作清单，先在测试环境跑再上真实系统，删除、发送和涉及钱的动作必须人工确认，还有一个显眼的关闭按钮。

完全自主看起来很现代。但出事的时候，面对客户的是你。"是 AI 做的"没人会接受。

今天做个小练习：列出公司里已经有 AI 且有权修改数据的系统。对每一个，你能说清它能做什么、在哪看历史记录、怎么关掉吗？答不上来的那些，就是你的优先级。

#人工智能 #AI智能体 #自动化 #风险管理 #科技