老魏 · 折腾铺
民宿站监控台双色球点哪抠哪老照片修复Murdoku科学探险家
折腾铺/单篇
单篇2026-09-08老魏

三个AI选同一个工具的概率,只有42%

Armature 跑了 16893 次会话,让三个主流 AI 编程工具各自挑第三方服务并真的写进代码。只有 42% 的时候它们选到一块儿。更狠的是 PayPal 被点名 139 次,一次都没被装上。
三个AI选同一个工具的概率,只有42%

三个AI选同一个工具的概率,只有42%

Armature 跑了 16893 次会话,让三个主流 AI 编程工具各自挑第三方服务并真的写进代码。只有 42% 的时候它们选到一块儿。更狠的是 PayPal 被点名 139 次,一次都没被装上。

先说结论:AI 的推荐不是答案,是抽签

你有没有问过 AI"这个需求该用哪个服务"?

有,而且你大概率照着装了。

因为 AI 说话那个语气太像标准答案了——有条有理、列了对比、还给了理由。你很难怀疑它在三秒钟前刚扫了一眼某个定价页。

9 月 3 日,一家叫 Armature 的公司把这事儿量化了。结论有点难看:给三个最主流的 AI 编程工具同一个需求,它们只有在 42% 的情况下选中同一个服务。

剩下 58% 的时候,你用的是哪个 AI,决定了你这个项目未来几年背着哪家供应商。

氛围图:三块并排的屏幕,显示着三个各不相同的答案

16893 次,而且不许嘴上说说

这个实验最值钱的设计是:AI 不能只推荐,必须真的把代码写进去。

很多评测问 AI"你觉得该用哪个",AI 给你一段答案,完事。但"提到"和"装上"是两件完全不同的事。Armature 要求 AI 把集成代码老老实实写进仓库,然后看 lockfile 里最后到底多了谁。

规模也不小:75 个仿真仓库、10 种编程语言、1163 种提问变体、16893 次会话,每次都跑在一次性沙箱里。提问的人还分了四种角色——只会描述症状的小白、说得出目标的新手、列需求的老手、以及带合规和采购约束的大厂工程师。

最后通过校验、作为本轮公开结果的是 5292 次会话。

42%:剩下那 58% 发生了什么

最直观的一个例子是语音功能。同一个需求,同一份代码库:

三个都不算错。但没有哪个项目能同时用三家。

为什么差这么多?往下挖一层,你会发现三个 AI 的信息来源根本不是一回事:

AI 联网搜索比例 搜索习惯
Codex 94% 十次里有九次用 site: 直奔厂商官网
Cursor 约 67% 主要靠网页当证据
Claude Code 约 30% 多数时候凭记忆;一旦开搜,翻的页数是 Codex 的三倍

翻译成人话:一个每家供应商都要打电话问一遍,一个翻翻行业黄页,还有一个靠老经验——除非遇到它真不熟的新领域(在"沙箱"这类新兴品类里,Claude Code 的搜索率会飙到 80%)。

顺便说一句,Claude Code 有 19% 的时候干脆自己手搓,另外两个只有 10%。如果你的产品能被四十行手写代码替代,那你在五分之一的会话里,竞争对手是"AI 懒得装"。

你的代码用什么语言写,比你说什么更重要

这是整份报告里最反直觉的一条。

Armature 拿同一个"发邮件"的需求,丢进四个只有编程语言不同的仓库,结果出了四个赢家:

仓库语言 胜出的邮件服务 胜率
TypeScript Resend 55/89
Python SendGrid 22/24
Go Postmark 20/24
Java Azure Communication Services 22/23

部署平台也一样分裂:TypeScript 仓库里 Vercel 通吃,只要有 Next.js 它就是 100%;但在 Python 仓库里,Vercel 一次都没被推荐过,位置被 Render 占了。

决定 AI 选什么的,不是你的需求,是你已有的代码。

这句话值得所有做产品的人抄下来:你以为你在跟用户说话,其实你在跟他的存量系统说话。

对比图:四条并行的轨道,各自通向不同的终点

被点名,不等于被选中

如果说前面几条还只是"AI 各有偏好",这一条就是行业级地震了。

Armature 统计了"被提到次数"和"最终被安装次数"的落差:

服务 被提到 最终被装上
LangChain 194 次 4 次
Adyen 175 次 3 次
Netlify 152 次 6 次
PayPal 139 次 0 次

PayPal 被 AI 提了 139 次,一次都没装成。同一次会话里,Stripe 从这 139 次里拿走了 124 次。

全篇被引用最多的框架 LangChain,提了 194 次,装了 4 次。

品牌知名度,在 AI 面前不是资产。

数据库品类也一样:Supabase 被提到 242 次,知名度远高于 Neon,最后赢的是 Neon(66% 的选择率)。原因据分析是 Supabase 把 auth、storage、realtime 打包进定价,AI 一合计——"我只要个数据库,不想买一整套",转身走了。

这份报告,有一半不能全信

写到这儿必须踩一脚刹车,不然就是替人抬轿子了。

第一,发布方有利益冲突。 Armature 自己的生意,就是帮厂商优化"在 AI 面前的曝光排名"。它自己在报告里披露了这一点。它测的这件事,正好是它收费干的那件事——读这种报告,得打个折。

第二,只公开了三成会话。 16893 次里放了 5292 次,其余说留待第二批。留下的是随机抽样还是挑过的,外人无从判断。

第三,最要命的一条:模拟用户和最终裁判,用的是同一个模型(Gemini 3.7 Flash)。也就是说,AI 扮演用户去追问,另一个 AI 实例来判定这次会话算不算数、谁赢了。自我评审这套,误差会往哪边偏,谁也说不清。

所以 42% 这个数字,别当成物理常数看。它真正的价值是把一件事摆到了台面上:

AI 的选择是有倾向性的,而倾向性来自它的训练数据、搜索习惯和上下文。它不是在给你一个客观答案,它是在给你一个它自己的答案。

示意图:一台天平,两端的刻度并不对称

最后:AI 推荐位,是新的广告位

这事儿跟不写代码的人有什么关系?关系大了。

过去二十年,商业世界里最值钱的位置是"搜索结果第一条"。为了这个位置,诞生了整个 SEO 行业。

现在,越来越多的采购决策——用哪家数据库、接哪个支付、发邮件找谁——正在从"人去搜"变成"AI 直接选"。Vercel 今年 4 月就说过,平台上超过 30% 的部署是由 AI 编程工具发起的,半年涨了十倍。

买方换了,没人发通知。

接下来会冒出来一个新行当,有人已经给它起了名字:AEO,Agent Engine Optimization——优化给 AI 看的文档,而不是给人看的落地页。什么 llms.txt、把关键信息塞进结构化文件、控制 Token 预算让 AI 读得省劲……本质上就是 SEO 换了个甲方。

对普通人的提醒只有一句:

下次 AI 给你推荐个什么东西,记得它只是在三个答案里随机挑了一个。多问一句"还有别的选择吗",成本为零。


觉得有用?点个关注,持续获取优质内容。