本文作者：胡向东 IDC中国研究总监
企业级Token混合成本一年内从18.40美元/百万Token降至6.07美元，下降67%。与此同时，国内日均Token调用量从2024年初的1000亿攀升至2026年3月的超140万亿，两年增长超1000倍。
这就是AI时代的杰文斯悖论——效率越高，应用覆盖越广，总资源消耗反而越大。Token单价持续下降，并没有让企业总支出收缩，反而打开了指数级的应用空间。IDC预测，全球活跃AI智能体将从2025年的约2860万个增至2030年的22.16亿个。当智能可以规模化生产，核心问题已经变成：怎样用最低成本、最大效率持续产出Token？
但比GPU代际迭代更值得关注的，是另一个结构性事实：同样一批GPU，在不同网络和存储架构上，Token产出成本可以相差数倍。
水面之下：真正决定Token产出的隐性变量
行业习惯用FLOPS衡量AI基础设施性能。以DeepSeek-R1推理为基准，新一代GPU平台相较上一代：每美元FLOPS提升约2倍，每GPU的Token/秒却从约90提升至约6000，提升约65倍，每百万Token成本从约4.20美元降至约0.12美元，降低约35倍。算力指标仅增长2倍，业务实际产出却增长数十倍，差距正来自基础设施层面网络与存储的系统性协同设计。
“推理冰山”的比喻恰如其分：水面之上是GPU数量和FLOPS，水面之下才是决定实际产出的变量。网络和存储，正是水面之下两个最大的效率杠杆。IDC数据显示，2026年AI推理成本在企业AI预算中已超80%。一座GW级AI数据中心的四年TCO约550亿美元，其中网络和存储合计占基础设施TCO的16%-18%——不到五分之一的投资，决定了五分之四以上资产的运行效率。
网络：从“连接管道”到“神经系统”
传统数据中心中，网络只是数据传输的“管道”。但在规模化Token生产场景中，网络的角色已经发生质变。MoE架构的All-to-All通信把GPU间通信从“突发”变成“持续”；Prefill与Decode分离后，KV Cache跨节点读写成为常态；上万推理并发下，每一次响应都要经过上百次GPU间往返。网络延迟每增加1微秒，都会在上百次通信中被放大为Token产出的直接损失。
行业实际部署数据表明：在万卡集群中，采用动态路由优化的网络带宽利用率可达约95%，传统以太网仅约60%。35个百分点的差距，等效于大量GPU投资被闲置。网络效率的兑现需要四个维度逐级递进：速度、效率、架构、能效，四层逐层收敛，最终决定了AI服务的响应速度、承载规模与长期运行成本。网络已从“连接配件”升级为决定Token产出速度的“神经系统”。
存储：从“数据仓库”到“工作台”
另一条核心线索在存储侧。KV Cache代表了面向推理过程的AI原生数据形态，它由Prefill计算派生而来、生命周期跟随单次会话或智能体任务、丢失后可通过GPU重新计算。这三个属性意味着，传统存储为“永久保存、绝不丢失”设计的RAID、多副本等机制，对KV Cache而言是额外开销。
新一代AI原生存储为此做了全栈重构：KV原生接口替代传统文件/块/对象接口，I/O路径极致精简，读写延迟降至接近NVMe硬件极限；分级保护策略取代一刀切的持久化体系，优先保障吞吐与时延；智能介质依据数据热度在内存、SSD与通用存储间动态调度；DPU硬件卸载实现CPU与GPU的零I/O开销。MLPerf基准测试显示，新一代AI原生存储推理吞吐量和能效较传统方案提升约5倍。存储不再只是模型层的附属仓库，它是与计算和网络并列的基础设施独立支柱。
系统级协同优于单点突破
三个结构性转向正在同时发生：用“每Token成本”替代“每美元FLOPS”作为核心评估指标；网络投资应与GPU同节奏规划，而非事后补网；KV Cache应被视为独立数据类别，而非传统存储上的“特殊文件”。
在AI从“烧钱”走向“普惠”的过程中，网络和存储不一定是投资额最大的两个部分，但它们是决定整个Token工厂效率上限的两个核心变量。打通层与层之间的协同瓶颈，才是突破Token工厂隐形天花板的关键。
行动建议
●用“每Token成本”替代“每美元FLOPS”作为评估与资源配置的核心指标。
●网络投资与GPU同节奏规划，而非事后补网，避免因网络效率不足造成GPU资产闲置。
●将KV Cache视为独立数据类别，采用KV原生接口与分层存储，实现“以存代算”。
（刘立庆）
