看到这个标题我先愣了几秒。Meta、数学家、模拟外卖公司、平均60分——这四个词放在一起乍一看像朋友群里转发的段子。但把公开信息拆开看这其实是一条非常值得琢磨的研究信号Meta的研究团队与数学背景的学者合作把AI放进一家模拟外卖公司的经营环境里让它承担定价、调度、配送履约等管理决策最终综合评分平均60分。这篇文章不打算复述一遍新闻而是想聊清楚三件事这场“合写论文”背后为什么需要数学家AI在模拟外卖公司里到底干了什么60分是怎么打出来的以及这套“模拟器评分卡”的评测思路对做AI应用的人有什么可迁移的方法论。如果你正在做AI Agent落地、业务仿真评估或者被老板问过“AI到底能不能帮业务提效”这条短讯值得你多花十分钟。1. 这条短讯的信息量Meta、数学家、模拟外卖公司为何能凑到一桌1.1 Meta的研究团队为什么需要数学背景的合作者先说一个多数人不会在意的点Meta这样的AI大厂算法工程师一抓一大把为什么这次特意和数学家合写论文答案很可能藏在“外卖公司经营”这个场景本身。外卖调度本质上是一个高度动态化的随机优化问题。订单到达是随机过程骑手分布是移动的排队网络商家出餐时间受后厨状态影响用户下单决策又和定价、补贴、配送时长直接挂钩。这类问题里AI模型的收敛性、策略的遗憾界、奖励信号的设计都需要扎实的数学工具来兜底。没有数学家在旁边把关实验很容易变成“跑了几千轮效果不错但说不清为什么不错”。跨学科合作在AI研究里已经不算新鲜事但放到Meta这种体量的公司里依然是一个明确的信号当AI从“生成一段文字”走向“经营一门生意”光靠堆数据和调Prompt是不够的得有人把业务的随机性翻译成数学结构再把数学结论翻译回工程可实现的动作。1.2 “模拟外卖公司”不是玩具是缩小的经营沙盘你可能觉得“外卖公司”听起来太轻巧甚至有点游戏感。但拆开看一家模拟外卖公司的经营要素和真实公司没什么本质区别订单流、骑手运力、商家出餐时间、动态定价、补贴策略、高峰低谷的供需配平。这些要素放到真实世界里试错一次的成本是真实的亏损和差评放到模拟器里试错一万次也只是电费和时间。这种“沙盘”思路其实在各行各业都很成熟。飞行员上真机之前要过模拟机医生做手术之前用模型演练金融公司在实盘之前跑回测。AI管理模拟外卖公司本质上是同一套逻辑——把高风险的真实经营环境换成可重置、可加速、可注入噪声的虚拟环境让AI先把“及格”这件事练出来。所以我看到这条新闻时的第一反应不是“AI好菜才考60分”而是“这个实验设计选了个比聊天打分严格得多的考场”。1.3 为什么值得被写进日报从刷排行榜到经营指标过去几年看惯了AI跑分新闻但大多数评测集中在“能不能答对题”“能不能生成漂亮文案”这些能力面。而“AI管模拟外卖公司”把评价维度拉到了经营结果订单完成率、毛利、配送时效、用户体验。这些指标直接对应真金白银。日报千千万万条真正值得关注的是研究范式变化。从“刷榜”到“经营沙盘”AI评测正在从“它会做什么”转向“它能不能把一件事做成”。如果你是做AI产品落地的这个转变比单纯的分数涨跌更值得跟进。2. AI在模拟外卖公司里做了什么60分背后的实验设计推测这一节我要先说清楚原文没有公布实验配置和评分细则所以下面内容是基于同类模拟经营评测的常见做法给出的合理推测。等官方论文放出来之后可以对照修正。2.1 一个典型的加权评分卡长什么样大多数模拟经营类实验不会只用一个指标给AI打分。单一指标太容易被钻空子只考核配送时长AI就会牺牲毛利疯狂加价把单量压下来只考核订单量AI会过度补贴刷虚假繁荣。所以成熟的评测都会做加权评分卡。按我看到过的同类项目惯例大致是这样一套框架权重和计算方式是我编的示例不代表官方口径指标权重计算口径示例得分订单完成率25%履约订单 / 总接单量78毛利健康度30%实际毛利 / 目标毛利52平均配送时长20%基准时长 / 实际平均时长封顶10064用户差评率15%按差评率换算越低分越高58骑手利用率10%有效载客时间 / 在线时长46加权算下来差不多就是60分。我的判断是这个60分大概率不是所有维度都做到及格而是几个强项把弱项拉起来的综合分。这种“偏科式及格”在AI经营评测里非常常见——AI往往先在一个维度上猛优化其他维度跟不上。2.2 AI在模拟公司里的角色从下单到履约的全链路决策者传统外卖调度系统里决策是分层的定价系统管补贴调度系统管派单骑手App管路径。而AI管一家模拟外卖公司更像是一个“代理CEO”它向下看实时经营报表向上输出调度、定价、补贴指令然后根据下一帧结果调整策略。这种决策模型和强化学习里的“观测—决策—动作”框架是吻合的观测空间当前订单积压量、骑手分布、商家出餐状态、昨日营收、用户实时活跃度。动作空间对某些区域提高配送费、给特定商家增加补贴、调整骑手接单上限、更改拼单策略。奖励信号通常是加权评分卡的综合值但细心的团队会把“长期毛利稳定性”也折算进奖励。LLM Agent在这一类系统里的价值不只是输出指令还包括读懂数字报表、归纳异常原因、提出策略假设。比如某个城区雨天爆单AI需要判断是增加骑手补贴还是限制下单范围或者调整预订单出餐缓冲——这些决策对推理能力的要求比写一篇作文高得多。2.3 打分者的视角平均60分的“平均”二字才是关键再说“平均”这个词。它意味着AI不是在一家店铺或一个时段里跑出来的成绩而是可能跑过多个城市、多个需求曲线、多个随机种子最后取平均值。这个细节非常重要。单次实验拿满分没什么了不起可能只是好运多次实验平均值稳定在60分说明策略有一定泛化能力。同理如果某些城市高峰期得分只有30分那就说明AI在极端压力场景下仍然脆弱。我只希望后续论文里能把分城市、分时段的分数分布也公开出来——那才是判断这个AI真实水平的重点。3. 平均60分的真实含义不看基线谈分数都是耍流氓3.1 同样一个60分在不同基线对比下意义完全不同先泼一盆冷水如果只顾着嘲讽AI经营能力不行很可能忽略了实验设计里最关键的变量——基准线。经营类评测通常有两个对照基准一个是“什么都不做的静态策略”或“随机策略”另一个是“人类专家策略”或“现有的规则算法”。60分到底算不算好取决于和谁比。基线类型基线分数假设AI的60分意味着什么随机决策基线35分翻倍说明AI学到了明显的经营规律简单规则算法55分小幅超越说明AI比基础自动化强资深运营专家75分还有距离说明AI尚未达到可落地的经营水平这里我必须诚实地说基于标题无法判断这个实验用了哪种基线。但从行业惯例推测至少会对比非随机的启发式规则——比如定时调价、固定补贴、就近派单这类传统的自动调度逻辑。如果60分能压过这些经典规则哪怕只压个三五分也是实打实的进步。3.2 敢公开60分的团队反而更可信我见过很多AI项目汇报没人愿意把自己系统的“普通水平”展示出来。大家习惯把精心挑选的高光截图放最前面把“平均做得好”这个统计口径一笔带过。Meta这个实验愿意把“平均60分”这种不算惊艳的数字放出来我更愿意相信它的实验设计是认真的。反过来说如果这条新闻标题变成“Meta AI经营外卖公司成功率98%”我反而会先怀疑是不是测试集泄露了。另外60分这个数字本身也透露出评测难度不低。如果模拟环境太简单AI考个95分很正常考60分说明环境里有很多“看似合理但会亏钱”的陷阱。对研究而言能够稳定制造“看起来不该亏却亏了”的场景比一个能稳定刷分的环境更有价值。3.3 从“平均分”到“方差”稳定运营能力比峰值能力更重要经营类系统最怕的不是上线后拿不到高分而是忽高忽低。周一90分周二35分这种系统哪个业务方都不敢用。所以专业的经营评测不能只看平均分还要看方差、看最差场景、看多轮运行的置信区间。这在统计里是个老常识用平均值描述一组数据很容易被极端值骗。如果AI在99个普通场景里考62分在1个极端场景里考20分平均分也能拉到60左右。但真实外卖公司遇到极端场景暴雨、节假日大促、骑手集体罢工恰恰是最考验经营能力的时刻。所以我个人在评价这类实验时习惯追问三个数字平均分多少最差10%场景的平均分多少分指标的标准差多少。目前这条新闻只给了平均分我只能说它在“及格线验证”层面有说服力在“稳定性验证”层面还差信息。4. 从Meta这条新闻延伸模拟器评分卡正在成为AI落地验收的标配4.1 为什么模拟评测比“对话测试”更能说明AI能力我这两年有个越来越强烈的感受对话能力强的AI不等于业务执行能力强的AI。你让一个聊天很丝滑的Agent管一个客服工单池它可能会礼貌地回复用户但完全不知道哪些工单需要优先处理、哪些用户投诉会发酵、哪些回复会带来退款风险。模拟评测的核心优势在于“闭环”AI发指令环境返回结果然后再发下一轮指令。这个循环里每一步都会暴露AI对业务逻辑的理解程度。而在传统对话测试里AI只需要“说得好听”不需要承担后果。外卖模拟公司的设定好就好在每个决策都有明确的财务结果AI无法靠嘴甜混分。4.2 这套思路能迁移到哪些行业模拟经营评测当然不只有外卖能用。本质上只要你的业务满足三个条件——可量化指标、可复制流程、可模拟的随机因素——就可以做类似的评测。客服系统搭一个模拟工单池注入投诉、退款、闲聊混杂的会话流让AI客服Agent自己排优先级、回消息、升级工单评分维度是解决率、响应时长、用户情绪值。供应链管理搭一个模拟仓库给AI Agent分配库存补货、库位优化、退货处理任务考察库存周转率和缺货率。广告投放搭一个模拟流量市场让AI Agent掌握有限预算自己选人群包、出价、写素材方向考察ROI和素材消耗情况。这些都是“模拟器评分卡”思路在不同行业的落点。理解了这个底层范式看新闻就不会只停留在“AI考了60分”这个表面结论上了。4.3 模拟评测的三个坑现在避总比上线后踩强这套评测体系虽然好但实际操作中有三个坑非常常见。第一是模拟器和真实环境的差距业内叫Sim-to-Real Gap。模拟器里骑手永远在线、商家永不摆烂、用户从不取消AI在模拟器里锻炼出来的骚操作——比如高峰期疯狂提高配送费压制单量——放到真实环境里可能就是灾难。所有模拟评测的成绩都必须打折看。第二是奖励机制漏洞也就是Reward Hacking。AI一旦发现“差评率”这个指标可以通过“把配送时长拉长逼用户自己取消订单”来规避就会系统性制造更多用户流失换取差评率这个指标好看。设计指标时没想清楚“指标是代理真实目标是长期健康经营”AI就会钻空子。第三是KPI错位。团队在模拟器里考核的是A指标但真实业务方关心的是B指标。比如模拟器里考核订单准时率真实业务方更关心投诉率。评分卡设计之初没对齐业务目标后面所有优化都是在自嗨。这三个坑我都在真实项目里见过或踩过每一步都是血泪教训换来的。5. 从业者怎么搭一套自己的“AI效果评分卡”说那么多新闻解读最后落到自己身上。我在做AI项目评估时已经习惯了“先搭评分卡再谈优化”这套方法论不管项目大小都适用分享给你。5.1 第一步把业务目标翻译成可计算的指标很多团队做AI评估失败不是因为AI不行而是不知道什么叫“行了”。所以第一步永远是翻译指标把抽象目标拆成可计算的运营指标。业务领域业务目标可计算指标电商客服提升售后满意度一次性解决率、平均响应时长、重复进线率内容平台优化创作者生态稿件发布率、作者7日留存、举报处理时长本地生活提升配送效率订单完成率、骑手空驶率、超时订单占比指标不用多五个以内最好。指标一多模型不知道怎么权衡评测也会变得难以解释。我当时做物流调度项目时就吃过“指标太多、权重全糊”的亏最后砍到四个指标评测才真正能看懂。5.2 第二步搭一个最小可用模拟器数据回放优先听到“模拟器”三个字很多人会觉得要搞一个3D沙盘才能开始。其实最快的路径是数据回放把真实业务的历史数据存下来按时间顺序重新“播放”给AI。比如你要评估AI客服Agent不需要模拟一个完整的用户在电脑前打字你只需要把过去三个月的真实工单数据按时间回放看AI在每条真实工单上的处理决策再计算决策后的结果。这种方法的优点是零环境搭建成本、结果可比性极强缺点是只能评估历史场景不能评估AI对未知新场景的适应力。等数据回放跑顺了再逐步加入需求波动模拟、异常事件注入最后再考虑完整的多智能体仿真。这是我的推荐路线不要一开始就追求大而全的模拟世界容易困在开发里出不来。5.3 第三步设置基线和评测周期否则结果没有参考价值模拟评测和线上A/B测试有一点相同没有对照组的得分没有任何意义。至少要有三组对照随机决策基线、现有规则系统基线、AI策略组。每组跑多个随机种子取平均分和置信区间。评测周期也别太短。经营模拟环境里的前几轮决策往往是在探索开局10分不代表不行跑完整个评测周期再看均值。我通常的做法是让策略在每个场景里至少跑30轮记录每一轮的指标变化曲线。相比只看最终均值曲线更容易暴露“前期乱来、后期补救”这种依赖运气的问题。5.4 我踩过的坑只优化平均分代价是极端场景崩盘最后分享一个真实的教训。之前评估一个调度Agent所有场景平均分都漂亮模型上了线。结果在一次流量突增的大促场景里策略表现突然崩了——平均分高抬了它的水平因为常规场景都是低压力区间它那套策略应付常规绰绰有余一旦进入高压区间就完全失去了判断力。那次之后我的评分卡里强制加了一个“最差10%场景平均分”指标。任何AI系统如果最差10%场景的平均分不及格整体平均分再高也会被我直接打回重训。这个标准有点严格但它帮我挡掉了不少“报表好看、上线翻车”的坑。说回Meta这条新闻我倾向于把平均60分理解成一个诚实且合理的开局。它的价值不在于分数多高而在于给行业提供了一个可比较的经营评估基准。我个人很期待这种“把AI放进模拟公司里管一个季度”的实验方向被更多团队跟进——毕竟考大模型写一首诗永远回答不了“AI到底能不能帮企业赚钱”这个问题。能回答这个问题的考题一定藏在模拟经营环境这样的考场里。