研究测试AI能否识别商业计划书中的致命问题

越来越多的人把商业计划书粘贴进聊天机器人，问它有什么问题：创始人在融资前这样做，投资人在写支票前也这样做。机器人自信满满地给出大量细节。问题在于，它抓住的是真正会让企业翻船的问题，还是只列出一堆无关或编造的问题。

这很难测试，因为你没法做实验，甚至没法观察并下结论。不过总有办法绕过去。

我从两个角度入手。第一，我用 AI 生成模拟计划书，并故意在其中埋下错误。第二，我选取真正从公众手里融过资的小企业，做匿名化处理，按融资当天的情况重建每份计划书，再拿评审结果与后来实际出的问题对照打分。

可惜，匿名化得小心：只给一份改了名字的计划书，模型在 68 个案例里认出了 37 家真实公司。这属于前瞻性信息泄露，所以我们只剩下 31 个模型不知道的干净案例。

我让两个前沿模型 Claude Fable 5.1 和 DeepSeek 4.1 去找商业计划书里的问题。在虚构计划书中埋下的 60 个错误里，Fable 找到 59 个，DeepSeek 找到 50 个。在真实小企业上，以后来实际出的问题为评分标准，干净证据是模型认不出的那 31 家公司。两个模型都抓住了大约五分之四的问题，分别为 81% 和 82%：几乎打平。

两个模型都找到了大部分埋下的错误，Fable 一个都没漏。

第三个模型 GPT-6.1 Sol 写了 10 份商业计划书，每份约 1,800 词，覆盖差异极大的行业和国家：美国软件卖到德国、英国即食餐、巴西借贷、德国模塑厂、美国家庭护理、印度服装店、荷兰电动货车配送、墨西哥教育科技、英国翻新收购、得州餐厅特许经营。每份计划书藏了 5 到 7 个错误，从显而易见到只有专家才看得出的都有：计划书忘了的劳资委员会、错误的增值税处理、食品缺少肉毒杆菌控制、荷兰运输许可证、特许经营披露的时机。每份还带了 2 个红鲱鱼：看起来吓人但其实没问题的细节。

对每一个埋下的错误，我都写明了评审必须说出什么才算得分。比如有一份计划书以 2,400 万美元估值融资 600 万美元，告诉投资人他们将持有 12%。实际上他们应持有 20%。要得分，评审必须算出 20%，并指出 12% 是错的。含糊地说一句“查一下股权结构表”不算。

随后由 agent 复核每一份计划书和每一份答案。它重算了每一张表，核对了每一条法律主张。它删掉了两个其实不算错误的埋设错误，又补上了原答案漏掉的两个。最后剩下 60 个错误要找。

然后每个模型都在全新的网页对话里拿到每份计划书，指令相同：像强势董事会那样评审，指出问题所在。完整请求引述如下：

所以 Fable 几乎找到了一切。这听起来很厉害，但也说明这个测试太容易，没什么用。当一个模型拿到 60 分里的 59 分，就没有空间再看另一个模型会不会更好。

真实计划书也比这些更难。我们虚构的计划书又短又工整，每个错误都是故意放在那里等着被发现的。真实计划书更长、更乱，错误也是无意的。这就是我做第二个测试的原因。

在模型认不出的 31 家真实公司上，两个模型都抓住了后来真正重要的约五分之四的问题，打成平手。

埋设错误有个弱点：埋的人决定什么算错误。所以第二个测试用的是真实历史。在美国，小公司可以通过 Regulation Crowdfunding 向公众融资。每家都要向 SEC 提交发行说明书（Form C），之后提交年报，写明实际收入、利润、现金和债务。这样就得到了一份事前写好的计划书，以及事后发生了什么记录。

找到融资案例。Claude Code 在 SEC 的 EDGAR 数据库里搜索 2016 年中至 2018 年提交的 Regulation Crowdfunding 发行，保留那些达到融资目标的。剩下 243 家小企业：餐厅、酿酒厂、酒吧、服装品牌、消费品、健身工作室、旅游及其他服务。

弄清后来发生了什么。每家融到钱的公司都必须提交年报（Form C-AR），写明收入、利润、员工、现金和债务。Claude 收集了这些，然后到州企业登记处、新闻和公司自己的网络痕迹中查每家公司的结局：仍在经营、关闭、被出售、转行，或从未开业，并附上年份和（若有报道的）原因。每个事实都带来源。64 家公司至少有两份年报或有明确结局。

按融资当天的情况重建计划书。agent 从每家公司的发行说明书和商业计划书（其中两份是扫描图片，用 OCR 读取）中提取每项预测、里程碑、假设和声明风险，每项都附原文引用。公司网站取自最接近提交日期的 Internet Archive 快照。仅凭这些材料，agent 以公司自己的口吻写出计划书，1,200 到 3,000 词。提交日期之后的任何内容都不纳入。公司自己的数字被原样保留，包括其算术错误，因为找出这些错误正是测试。

伪装。公司、创始人和确切地点被改名，地区保留。例如，北得州一个大城市里的烧烤餐厅“City Griddle”变成了“Hollow Creek BBQ”。决策问题按投资人在提交日期会面对的方式书写：真实融资金额、真实资金用途，不透露任何结局线索。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）