端到端推理时延降低 15%：京东广告联合鲲鹏超节点，探索生成式广告行业新路径

电商广告的账，最后都记在毫秒上。 京东给全链路的时延预算是300毫秒，留给广告模型推理的部分只有20到100毫秒。超出这个窗口，用户滑动页面时会察觉到卡顿，电商广告成交也就无从谈起。而在最近两年，这套推荐系统正从传统深度学习迁往生成式范式：行为上下文长了10倍，模型结构大了100倍，算力需求随之涨了大约1000倍。机房扩容的周期，却是按季度计的。 当然，这不仅是京东一家所面临的挑战，而是困扰每一家涉及搜广推的互联网企业的共性难题。而在解决这个难点的路上，京东已经先行启程，为行业提供了可借鉴的解题思路。

算力的账：两位数增长与千倍挑战

先看生意本身。京东覆盖超7亿年度活跃用户，平台上70%的商家同时也是广告主，每月帮助顶级品牌触达超4000万核心受众，作为京东集团旗下的营销推广平台，面向B端用户的京准通与C端流量双向协同驱动增长。 京东零售广告产研部算法应用相关负责人对搜广推业务的定位很直接：“搜广推这个业务，是京东在同时撮合广告主，甚至是商家、卖家，跟我们京东消费者进行最重要的匹配，这件事情的用户体验的好和差，很大程度上直接决定京东业务发展的体量。”换句话说，搜广推不只是推荐系统的一个子集，而是京东商业效率的核心撮合层。它连接两端：一端是广告主和商家，另一端是消费者；匹配得好不好，直接体现在成交、转化和平台收入上。 生意的底层是算法，算法的底层是算力。电商广告成交=曝光×点击率×转化率，过去十几年，整个互联网广告行业都在沿着这条路上迭代：从规则投放，到机器学习，再到深度学习。而京东广告系统的演进轴上，最近的两级是生成式和Agentic AI。 需要说明的是，传统推荐系统一般被称作“判别式推荐”，并不全是深度学习，其核心是基于统计关联和手工特征工程的传统机器学习方法；深度学习是2015年之后才逐渐融入推荐系统的技术路线。而近两年生成式技术落到广告场景，带来的是两位数级别的收入提升，但这一切的前提是：具备先进的算法和充裕的算力。 基于此，京东广告在过去一两年从深度学习迁移到生成式推荐，用统一的序列模型把这些能力融合在一起，最终实现了行为上下文增长10倍、生成式模型结构放大100倍、算力需求提高约1000倍。而这个增长速度，远远超过了业务复杂度和业务收益的增长速度。 这些增长带来的挑战，不是单纯能靠GPU解决的。对此，京东零售广告产研部算法应用相关负责人表示，京东发现，在传统智算超节点聚焦纯GPU/NPU的背景下，想要让算法跟业务紧密结合，真正的制约是数据预处理、数据检索与业务逻辑嵌入，这些流程大量跑在通算上，CPU资源远远不够。“真正的业务流程是网状的，你依赖的算力从来不是NPU和GPU，而是能不能把前面最耗时最复杂的部分先搞定，才能给加速芯片任务。”该名负责人指出。 这个过程中，时延是一条不可谈判的红线。京东广告业务的日请求量千亿级，单次推理必须控制在几十毫秒内完成，否则收益归零。京东零售广告产研部算法应用相关负责人补充了一个来自用户侧的刻度：人对APP滑动和点击的反应有判断，超过600多毫秒就会明显感到卡顿；扣掉基站通信之后，真正留在数据中心、留给模型推理的空间很小。另一头，算法每周更新，新论文从开源到上线最短只要两周，而算力扩容以季度计。 时延主要有两部分，一部分是KV Cache。行为序列超1K，KV Cache容量需求被急剧放大；传统“片上内存—本地DDR—本地SSD—远端Redis”四级缓存存在容量小、并发弱、时延高、额外投资的矛盾——又快又大又稳定不可能同时满足。 另一部分是RPC通信。每次用户请求最少要建立几十个RPC服务调用，RPC通信耗时占整体时延20%以上，百万级RPC导致每节点TB级内存消耗。 这两笔账叠在一起，构成了整个搜广推行业在生成式时代最真实的算力账单：收入是两位数的增长空间，成本是千倍的算力需求，而时间窗口以毫秒计。

如何能把时延降低15%？

面对挑战，超节点成为当下最优解之一。先把时间拨回去年5月的鲲鹏开发者峰会。当时京东与鲲鹏团队确认了多个合作重点项目，判断的是三件事：这个事值不值得做、双方分别能做什么、做成的概率和收益空间有多大。“可能都不是以超节点的概念出来的，更多是我们遇到一些问题，一步步逼着大家要解决。”京东零售广告产研部算法应用相关负责人回忆。 既然“又快、又大、又稳定”在传统架构里是不可能三角，京东广告选的方向是做分级存储并尽量压缩层级。四级存储逐级命中调度本身就是负担，于是提出：把第四级（远端数据库）干掉，把第三级也干掉，只留两级（第一级片上内存，第二级一块足够大的DDR）。去年5月，华为架构师给出的方案是通过灵衢协议把几十台、几百台甚至更多机器连起来形成一个大池子，访问这个池子的内存与访问本地没有区别。 同时还有第二个动因：模型跑得更快、预估更准，依赖大量数据预处理。传统做法是在大数据集群上离线处理再读进来，但很多用户行为刷新极快，离线回流太慢。京东广告希望直接用推理集群的算力做处理，拿最新鲜的行为数据，数万起步的预处理任务如果按传统分布式方式拆到很多节点，必然出现木桶效应，所以更合适的方式是让CPU与数据近端处理，靠拓扑感知调度把任务打到最可能需要这份数据的节点上。 具体来看，华为鲲鹏与京东广告的合作主要集中在三个层面： 第一是创新组网。基于灵衢（UnifiedBus）互联实现4K节点ScaleUp组网，单超节点支持150万+vCPU，每节点3.2Tb互联带宽，具备大规模、大带宽、不收敛、高可用四大特性。“不收敛”这四个字对广告业务至关重要——跨层带宽不收敛、扩容时带宽不下降，才扛得住广告模型和数据的持续膨胀。 第二是KV Cache两级缓存。通过灵衢协议把几十台、几百台机器连成巨大的内存池，干掉传统的第四级远端数据库和第三级，只留片上内存+DDR两级，形成300TB共享内存池。结果是一组相当陡峭的数字：缓存间时延下降3个量级，带宽达TCP的16倍；8MB并发请求TP99时延下降85%以上（最高92.6%），64MB序列长度TP99降至1/16。“以往来说，容量跟时延是二选一的题，现在有了鲲鹏超节点合作，可以都要。”京东零售广告产研部相关负责人在华为全联接大会2026——鲲鹏计算产业峰会上说。对京东广告而言，这意味着可以继续扩大用户的行为序列作为推理的输入，提高推荐精度。 第三是RPC通信改造。跳过传统网络协议栈（Socket/TCP/IP），UB统一协议直连URMA，时延开销降低38%；RPC通道复用使通信用内存降低100倍；多路径聚合Tb级带宽替代百Gb单一通路，通信稳定性提升40%，1MB数据包时延下降84%，P99整体优化40%以上。 正是通过这三个环节的改变，京东广告把端到端推理时延降低了15%。但落地的过程也并不是一帆风顺的。“灵衢是一个非常好的能力，或者说一个工具、一个构想，但是在一个构想落地的过程中，一定会面临现实的拷打。”京东零售广告产研部算法应用相关负责人坦言。 首先，机房空间就是最大的挑战。要连的机器足够多，但机房空间不够，华为给出的反应很快，既然机器摆不开，就做液冷服务器提高摆放密度，同时线缆又不能太长；其次，扩展性与稳定性也是不小的挑战。灵衢的扩展能力、以及灵衢协议外联时的泛化问题，无一例外都需要稳定性；第三，系统风险被放大。如果业务强依赖一个巨大无比的内存池，一旦核心链路出现断网或抖动，影响范围比传统架构大得多。 这些问题的解法分散在多个层面。华为今年发布了多款NPO硬件解决光传输链路上的问题，操作系统的调度在同步升级，灵衢协议也在持续打磨，新增能力分别落在协议层、交换链路、操作系统以及CPU/NPU侧芯片上。“每一个新打磨进去的能力，我们一定都是踩过对应的坑，而这些坑的价值在于后面的人可以少踩。”京东零售广告产研部算法应用相关负责人如是说。 当新的架构搭建完成后，验证选在的电商业务负荷的最高峰之一的“618”大促期间。京东零售广告产研部算法应用相关负责人告诉我们，这套软硬件方案要至少能达到三个效果：系统不能崩、要在相对稳定的情况下服务更多客户、延迟不能因为压力大就飙升导致降级或熔断。 最终，这套方案承受住了“618”的“大考”，实现广告推理端到端时延降低15%，局部KV Cache命中率相关的重复计算降低百分之八九十，核心业务场景5%的流量已在鲲鹏集群上运行，经受住了洪峰、稳定性与时延的“考题”。 更重要的是这笔账的商业属性。“延迟省下来之后我们就会在这个固定的延迟内上更大的模型。更大的模型，更好的效果，更多的钱。”京东零售广告产研部算法应用相关负责人表示，在京东广告内部有一个观点：时延就是收益，这不只是降本，更是增收。省下的时延预算可以用来跑更大的模型，更大模型带来更好效果，进而带来更多广告收入。 当然，这一切还只是合作的开始，京东零售广告产研部算法应用相关负责人与我们分享了接下来的计划，他表示，目前还不是全量的搜广推业务都在鲲鹏上，一方面产能还需要提升，另一方面进度也没有那么快，所以策略是拿核心业务优先上新型集群，先在核心业务场景发挥作用。据披露，京东广告目前正在稳步推进“双十一”，将更大规模的业务搬上鲲鹏。

从SuperCache到Agent沙箱，下一程在哪？

随着AI Agent的发展，算力的需求还会不断增加，而双方的合作也将继续围绕让算力更普惠、更好用展开。 首先是“打好地基”。KV Cache和数据处理这两块在鲲鹏上已经做了大量工作，目前正处在大规模上量过程中，核心效果业务先上新型集群，会坚定继续推进。京东广告也意识到，除了已经实现的部分，过程中还发现了更多需要改造和改进的地方，这部分会与华为在系统、调度、机房、优化等各团队继续合作。 其次，在原有方案的基础上，除了广告推广业务，还将进一步将能力外溢。京东零售广告产研部算法应用相关负责人表示，同样的解法不只对广告场景有用，对搜推这类不需要考虑广告主的业务同样适用。 除此之外，京东之外的其他友商也在跟进做相关业务，这套方案对他们也是一个范例。该负责人还预判，随着模型越做越大、对算力和延迟的苛求越来越激进，改造一定会从广告相关推理向更上游和更下游延展。 这与华为侧的开放姿态是呼应的：灵衢希望吸引两类伙伴，一类是硬件厂商，基于其IP开发产品，可以是服务器厂商，也可以是做SSD协议的存储厂商；另一类是软件层客户，基于灵衢协议做架构和软件方案层面的创新。京东与鲲鹏共同踩过的坑、打磨进协议层与芯片侧的每一项能力，最终都将成为后来者少走弯路的路标。 第三是围绕其他前沿技术进行探索，比如共享SuperCache（L2、L3扩容，通算与智算统一互联）、Agent高密沙箱（秒级并发十万级沙箱，资源5倍超分，跨节点自由调度）、以及多模态融合检索等方向。 最后，Agentic将是接下来的重点。智能体适合的是决策复杂、次数有限且需要做最优化决策的场景；规则极其明确的场景反而没有Agent化的必要。京东零售广告产研部算法应用相关负责人表示，广告和搜推天然存在这类场景，京东广告希望把决策空间很大、次数有限且需要做最优化决策的场景都Agent化。但这位负责人指出，这件事的前提有四个：数据是否足够多、算力是否充沛、基础模型能力是否足够强、能不能支撑模型的循环迭代；再往下一层，落到算力和通信上，挑战比现在会更大。 在这个背景下，双方对算力底座还有一层更深远的判断。华为在鲲鹏计算产业峰会上给出过一个趋势：进入Agentic AI时代，智能体将大量依靠CPU完成调度编排、记忆处理、沙箱运行等工作，CPU与NPU的配比将从过去的1:4历史性地走向1:1。而京东从业务侧看到的更激进——1:1根本不够，从业务的复杂度出发，看到的可能是4:1。原因有两个：前面要处理的数据越来越多，同时单卡性能本身也在上涨。“超节点可能是一个硬件的概念，但事实上远远不是一个硬件的概念。”这意味着操作系统、调度、中间件都会跟着目标改变硬件形态。 让我们再回到文章开头提到的那笔电商的账，“如果可以优化下来一毫秒，我们就要有几千万的提升。”在广告这个行业，对于延迟的优化是无止境的。端到端推理时延降低15%只是开始，Agentic AI的星辰大海，才是双方未来合作聚焦的重点。（本文首发于钛媒体APP） 更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App