7 个判断，重新理解 AI 基础设施

越来越便宜的 Token，越来越昂贵的竞赛

近期，SemiAnalysis 创始人 Dylan Patel 先后做客红杉资本的《Training Data[1]》和 WisdomTree 的《The Next Big Thing[2]》。

两期访谈从模型和芯片，一路延伸至内存、能源、数据中心与 AI 商业模式，并指向同一个变化：AI 竞赛的焦点，正从单纯比较模型能力，扩展到谁能以更低成本、更大规模，把模型能力稳定地交付出来。

沿着这一主线，「十字路口」将 Dylan 的观点系统梳理为以下七个判断，它们共同构成一个从效率、需求和物理瓶颈，延伸至竞争格局、组织能力与商业闭环的分析框架。

贯穿这套框架的主因果链可以概括为：

跨层协同压低单位 token 成本 → 成本下降放大总需求 → 需求撞上内存、网络、电力等物理约束 → 供给格局重新划定 → 高毛利模型公司获得更强的算力竞价权

判断一：100 倍提升不来自单点突破，而来自跨层协同

业界通常将 AI 效率进步拆成三层：芯片硬件、底层系统软件和模型算法。

Dylan 认为，只看某一层的提升，很容易错过真正重要的变化：

一颗芯片可以快 2 倍，一个底层内核可以快 2 倍，模型架构也可以提高 2 倍效率。把三个数字简单相乘，结果只有 8 倍。

但当模型结构、通信方式、内存层级和芯片计算单元被同时重新设计时，最终提升可能达到 100 倍。

DeepSeek 提供了一个更直观的例子。DeepSeek V3 的专家结构主要针对英伟达 Hopper 架构优化；随后发布的 1.6 万亿参数 V4，则进一步面向 Blackwell 和华为昇腾等架构进行适配。

不过，硬件适配并不等于性能从发布第一天起便已经固定。

InferenceX[3] 对 DeepSeek V4 的持续测试显示，模型发布初期，GB300 NVL72 在部分测试配置下明显领先，AMD MI355X 的早期表现则明显落后。在此后约六周的测试中，AMD 团队通过精度切换、kernel 补齐、调度器优化和推理框架改进，将 MI355X 的吞吐量提高了超过 100 倍，部分区间甚至超过 H200。（注：这里的百倍提升来自特定测试配置下，软件栈从早期低基线逐步走向成熟，并不代表 MI355X 的通用硬件性能提升了100倍。）

这段追赶过程更能说明 Dylan 的观点：最终性能并非由硅片规格单独决定，而是模型、芯片、内存、网络和软件成熟度共同作用的结果。

这种跨层协同，也在重新定义英伟达的护城河。

DeepSeek、Kimi、GLM、Qwen 等开源模型，大量围绕 GPU 的内存结构、通信方式和计算单元进行优化。即便谷歌 TPU 在特定工作负载中拥有更高能效，这些模型迁移过去，也未必能够获得同等表现。

因此，英伟达的壁垒不仅在于 CUDA 开发生态，更在于大量下游模型、推理框架和开源工具，已经围绕 GPU 的系统特征形成了深度适配。

判断二：单个 token 越便宜，总算力需求反而越旺

Dylan 对 token 市场有一个非常激进的判断：未来，模型推理可能成为比石油更大的市场，占据全球 GDP 的若干个百分点。

这一预测是否会兑现尚无定论，但其背后的成本曲线已经相当陡峭。

据 Dylan 估算，在相近能力水平下，模型使用成本过去一度以每年约 60 倍的速度下降。DeepSeek V3 相较两年前的 GPT-4，在部分可比任务上的价格差距达到约 600 倍。

按照通常的经济逻辑，产品价格大幅下降，应当意味着支出下降，但 AI 正在呈现相反的结果。

模型越便宜、能力越强，就有越多原本不值得自动化的任务开始变得可行；当模型能够处理更长、更复杂的任务，用户又会进一步增加调用次数。这就是 AI 时代的「杰文斯悖论」：单位成本下降，并没有减少总消耗，反而扩大了整体需求。

SemiAnalysis 自身就是一个极端样本。据 Dylan 在访谈中披露，公司 2025 年 11 月的年化 AI 支出还不到 10 万美元。随着 Claude Code 在内部普及，到 2026 年 1 月底，这一数字升至约 400 万美元，目前已达到约 1100 万美元，峰值周度支出折算后曾接近 1400 万美元。

但这里需要区分两类不同的工作负载：

第一类是固定工作流。例如，企业需要检查一份文件是否满足特定规则。只要模型达到质量门槛，企业就可以等待更便宜的小模型，用成本下降来提高毛利。

第二类是 AI 助手。员工每天让模型研究、编程、分析或生成内容。在这种场景里，最便宜的模型未必拥有最低的总成本。

一个更强的新模型，可能只用 1/4 的 token、一次交互便完成旧模型需要多轮才能完成的任务。虽然单个 token 更贵，但总 token 数更少，占用员工的时间也更短。

因此，Dylan 提出的成本优化方法并不是永远换用更便宜的模型，而是固定工作流追求单位成本，知识工作追求完成任务的总成本。

而当新模型提高了生产效率，人们通常不会停下来节省预算，而是会立刻把节省下来的时间和 token 投入更多任务。于是总支出在短暂下降后，又会迅速回升。

判断三：内存是结构性短缺，CPU 是阶段性修复，CPO 仍需等待

在《The Next Big Thing》访谈中，Dylan 给出了一套评估 AI 供应链的框架。

判断一个环节是否值得关注，至少要回答三个问题：

有多少真实的 AI 需求会流经这个环节？它处于垄断、寡头还是大宗商品市场？当供给短缺时，厂商能否把短缺转化为定价权？

沿着这套框架观察内存、CPU 和光互连，会得到三种不同的结论。

内存：从库存周期走向结构性短缺

传统内存行业通常以 18 至 24 个月为一个周期：价格上涨刺激扩产，新增产能又带来库存积累和价格回落。

Dylan 认为，这一轮周期可能持续得更久，因为 AI 正在同时改变内存的需求规模和产品结构。

一方面，模型参数、推理流量和上下文长度仍在增长。对话式问答正向复杂推理和 Agent 任务演化，模型需要保存并反复读取更多中间状态，这推高了对 HBM、服务器内存容量和带宽的要求。

另一方面，供给扩张没有同等迅速。

全球前沿 DRAM 产能仍主要掌握在三星、SK 海力士和美光手中，面对利润率更高的 HBM3E、HBM4，厂商会优先将先进产能分配给 HBM。

但 HBM 不仅制造和封装更复杂，占用的晶圆面积也更大。当更多产能流向 HBM，传统服务器 DRAM、PC 内存和移动内存能够获得的资源便会受到挤压。

这种资源竞争已经向消费电子传导。 Counterpoint Research[4] 预计，受内存危机与地缘政治冲击叠加影响，2026 年全球智能手机出货量将同比下降 13.9% 至 10.8 亿部，创 2013 年以来最低水平。存储成本的快速上升，正在迫使手机厂商重新调整产品组合、定价与出货计划。

Dylan 在访谈中给出的粗略判断是，未来数年，内存产能可能每年增长约 20% 至 30%，而相关需求仍有可能维持接近翻倍的增速。

如果这一增速差持续存在，本轮行情就不只是一次库存补充，而是 AI 需求与有限产能之间的结构性再分配。

当然，“结构性短缺”不等于价格永远上涨，内存依然具有大宗商品属性。当新增产能上线，或者手机、PC 等价格敏感型需求被高成本挤出，市场仍会重新寻找平衡。

CPU：真实需求回升，也包含补齐历史欠账

强化学习和 Agent 正在增加 CPU 的使用量。

在预训练阶段，大量计算集中在 GPU 或其他 AI 加速器上；进入强化学习后，系统还需要运行代码测试、沙盒环境、任务验证器和模拟程序。Agent 则需要频繁调用数据库、搜索引擎、代码解释器和外部工具，这些工作往往由 CPU 承担。

TrendForce[5] 判断，随着 Agentic AI 普及，数据中心内部 CPU 与 GPU 的工作负载配比，可能从传统 AI 服务器的约 1:4 或 1:8，逐步向 1:1 演化。

这里所说的是工作负载和系统需求结构的变化，并不意味着 CPU 与 GPU 的物理芯片数量或市场价值会机械地变成 1:1。它反映的是，当 AI 从单次模型调用转向执行完整任务，越来越多的计算将发生在模型之外。

不过，Dylan 提醒，当前 CPU 市场的高增速中，还有一部分来自历史欠账。

过去数年，AI 加速器出货量快速增长，配套 CPU 的部署却相对滞后。随着强化学习和 Agent 工作负载增加，云厂商和实验室正在集中补齐这一缺口。

新增需求与补库存同时发生，因此放大了当前的增长幅度。

但问题在于，补库存不会永久持续。

按照 Dylan 在播客中的示例，如果一颗 CPU 对应两颗 GPU，每颗 GPU 约 5 万美元、CPU 约 5000 美元，那么每 10 万美元 GPU 支出只对应约 5000 美元 CPU 支出。

CPU 的需求弹性可以很高，但其绝对价值量仍难以与 AI 加速器相比。

因此，更准确的判断是，CPU 正处于一轮由「新增需求」和「历史欠账」共同推动的阶段性修复，而不是另一个与 GPU 等量齐观的超级周期。

光互连：CPO 的兑现时间仍可能晚于市场预期

随着 AI 集群规模扩大，网络设备在整套系统中的重要性和价值占比仍会继续上升。

但网络需求增长，并不意味着所有光互连技术都会立即进入大规模部署。Dylan 对共封装光学（CPO）的短期落地持谨慎态度。

CPO 将光学器件与交换芯片或计算芯片进行更深度的集成，理论上能够降低功耗、缩短信号传输距离，并提高带宽密度。但这种集成也会带来新的工程问题，包括制造良率、散热、维修难度以及光学与半导体供应链之间的协同。

Dylan 的判断是，CPO 很难在 2027 年形成大规模部署，真正的规模化爬坡可能要到 2028 年底，甚至 2029 年。

在此之前，铜缆、背板连接器和传统可插拔光模块仍可能拥有比市场预期更长的商业窗口。

这也说明，AI 需求增长并不会平均地转化为每个供应链环节的利润。短缺本身不会自动创造回报，只有同时具备技术门槛、稳定交付能力和定价权的厂商，才能将供需紧张转化为持续收益。

判断四：能源并非无解，真正稀缺的是按时可用的电力

数据中心的终点是电力。

据 SemiAnalysis 估算，2026 年全球可能新增约 20GW 的数据中心容量，2027 年超过 30GW，2028 年可能进一步接近 50GW。

如此大规模的负荷增长，让能源成为 AI 基础设施最受关注的约束之一。

Dylan 将能源问题拆成三个环节：

•发电：电从哪里来；

•输电：如何把电送到数据中心；

•转换：如何把高压交流电转换成芯片能够使用的稳定电力。

其中，最难解决的是输电。

输电线路和变电设施建设周期长，涉及监管审批、成本分摊、地方电力公司和社区阻力。即使一座电厂能够建成，电也未必能按时送到数据中心。

发电端则拥有更多绕行方案。

SemiAnalysis 预计，未来几年新增数据中心负荷中，可能有接近一半来自企业建设的表后发电。企业不再等待公共电网扩容，而是在数据中心附近直接部署燃气轮机、燃气发电机或其他现场电源。

一些运营商甚至在尝试，将能够大规模量产的卡车、船舶或列车发动机，改造成现场发电机组，由发动机带动发电机发电。数百台设备部署在数据中心周围，由机械维修团队轮班维护。

这种方案并不优雅，效率和可靠性也未必最优，但它能够更快上线。

太阳能加储能则代表另一条路径。Dylan 判断，在部分可靠性要求下，太阳能加电池的综合成本可能在未来两年低于燃气。但如果要应对连续阴雨和更高等级的供电可靠性，所需储能容量和成本也会明显上升。

最激进的方案，是把计算设备送入太空，直接使用太阳能。

Dylan 对此给出的判断具有很强的推演性质：到 2030 年，太空算力占比可能仍不足 1%。只有当地面电网、表后发电和工业供应链都接近极限时，太空数据中心才具备足够的经济性。

因此，能源不是一道完全无法突破的物理上限，但每一种绕行方案都意味着更高的资本投入、建设难度、环境成本与监管争议。

判断五：英伟达需要一个多极世界

Dylan 在红杉资本的访谈中提出了一个很有意思的判断：黄仁勋并不希望 AI 世界最终只剩下两三家封闭实验室，以及少数几家超大云厂商。

如果模型需求越来越集中在 OpenAI、Anthropic、谷歌等头部实验室手中，而谷歌、亚马逊和微软又持续提高自研芯片的比例，英伟达面对的客户将越来越少，少数大客户的议价权则会越来越强。

因此，对英伟达而言，更理想的客户结构是存在足够多彼此竞争的模型公司、云厂商和算力运营商。它需要中国开源模型、独立 AI 实验室、NeoCloud 和企业客户继续存在，也需要更多公司能够在超大云厂之外部署算力。

自研芯片正在加剧这种紧迫感。

Anthropic[6] 被曝与三星初步讨论 2nm 定制芯片，项目用途与规格尚未确定；路透社引述知情人士称，DeepSeek[7]正在研发推理芯片；较早时候，OpenAI[8]与博通则已正式发布 Jalapeño 推理加速器。三者虽进度不同，但共同说明大型模型公司正在提高垂直整合程度，争取对算力供应、成本和技术路线更大的控制权。

不过，自研芯片并不意味着通用 GPU 会被完全取代。

专用芯片适合围绕相对稳定的模型架构和成熟工作负载优化，在规模足够大时降低推理成本；但从设计、流片到大规模部署需要较长周期，而模型架构和训练方法的变化可能更快。

因此，更可能出现的格局是：头部公司使用自研芯片承接部分成熟工作负载，同时继续采购通用 GPU，用于前沿训练、架构探索和难以提前预测的任务。

换句话说，通用 GPU 的价值不只在于当前性能，也在于为技术路线的不确定性提供保障。

在这一背景下，英伟达对独立实验室和 NeoCloud 的扶持，具有更深一层战略意义。

Sharon AI[9] 是其中一个代表性案例。今年 6 月，该公司披露与英伟达达成一项为期六年的战略算力合作，计划在澳大利亚新增 72MW 数据中心容量，并分批部署最多 4 万张 GB300。协议最高合同价值为 48.8 亿美元，并采用收入分成和信用支持机制，这使 Sharon AI 能以更轻资本的方式扩张，英伟达则获得硬件收入和相关云服务收入分成。

但这并非没有代价。当英伟达通过信用支持推动客户部署 GPU，它不仅承担制造和销售风险，也会间接暴露于客户信用、GPU 利用率和设备残值变化中。

所以，「英伟达需要一个多极世界」并不意味着它在无条件扶持产业生态。更准确地说，维持足够多有能力购买和运营 GPU 的客户，本身就是英伟达保护市场规模和议价能力的一部分。

判断六：追上前沿需要三种资源——数据、人才和算力

SemiAnalysis 在《The Future of Meta Superintelligence[10]》提出一套相对简洁的框架：

造出前沿模型需要同时拥有数据、人才和算力。

三者不是可以独立累加的要素，任何一项明显不足，或者三者无法协同，最终都会成为模型能力的上限。按照这一标准，Meta 是目前少数可能同时补齐三块拼图的公司。

但“拥有资源”与“追上前沿”仍是两回事。真正的考验在于，一家公司能否通过组织、工程和研究体系，把这三种资源持续转化为模型能力。

数据：强化学习正在创造新的数据供应链

随着模型训练重心从大规模预训练转向后训练和强化学习，数据的定义也在发生变化。

过去，数据主要意味着互联网文本。现在，更稀缺的是高质量任务、可交互环境、工具链，以及能够判断结果是否正确的验证器。

一个编程 Agent 需要代码仓库、测试环境和单元测试；一个金融 Agent 需要表格、真实工作流程和清晰的结果标准；一个通用办公 Agent，则需要接近真实白领工作的操作轨迹。

围绕这些需求，一条新的人类数据和强化学习环境供应链正在形成。

据 SemiAnalysis 估算，Mercor、Surge、Handshake 等数据服务商的年化收入均突破 10 亿美元；Fleet、Mechanize、Afterquery 等成立时间不长的公司也在快速增长。

Meta 的特殊之处在于，它本身就拥有庞大的工程、广告、法务、财务和运营团队，理论上能够从内部工作流中提取大量接近真实经济活动的任务，而不必完全依赖外部数据供应商。

今年 4 月，Meta 上线了一套内部工具，尝试记录员工屏幕、键盘与鼠标轨迹，用于训练面向白领工作的通用 Agent。但上线仅两个月后，便因内部反弹与敏感信息外泄而被暂停。

与此同时，Meta 还在组织层面进行调整，将约 3000 名工程师转岗全职构建 RL 任务与环境。作为对照，数据公司 Mercor 二季度全平台记录了 251.7 万个专家工时，相当于 4800 人每周工作 40 小时。如果将 Meta 的 3000 名工程师按满季度、每周 40 小时粗略计算，对应约 156 万个理论工时，相当于 Mercor 二季度专家工时的约 62%。

两组数据在任务类型、工作效率和质量标准上虽不能直接比较，但这一量级足以说明，Meta 正尝试把内部工程组织变成一座大规模的 RL 任务与环境工厂。

人才：前沿能力仍集中在少数团队

模型论文和工程方法正在快速扩散，真正能够组织大规模训练、设计强化学习系统，并解决复杂基础设施问题的人才，却仍集中在少数实验室。

过去一年，OpenAI、Anthropic 和谷歌 DeepMind 围绕顶级研究人员和工程师展开了激烈争夺。高额薪酬只是表象，更深层的竞争在于，研究人员能够获得多少算力、什么质量的数据，以及多大的实验自主权。

Meta 拥有充足的资金实力，也愿意通过组织重建和高额投入来补齐人才短板。但人才迁移并不会立刻转化为模型能力，新的团队仍需要时间形成稳定的研究文化和工程协作方式。

算力：Meta 正把数据中心变成模型能力的一部分

与依赖外部云厂商的模型公司相比，Meta 拥有更强的资产负债表，也不需要在内部模型训练与外部云客户之间分配算力。

SemiAnalysis 预计，到 2026 年底，Meta 的内部 AI 算力可能超过 OpenAI 和 Anthropic。

为了支撑这一目标，Meta 正在同时建设 5 座 1GW 以上的“泰坦级集群”，包括俄亥俄州的 Prometheus、路易斯安那州的 Hyperion，以及位于得州、爱荷华和印第安纳的其他园区。

其中，Prometheus 并不是一座单体数据中心，而是由 6 个园区、27 座数据中心共同组成。其中 5 个园区相距不超过 6 公里，另一个园区则距离主体约 75 至 80 公里。

Meta 计划通过 AI-Backbone 网络连接这些站点，在突破单点供电和散热上限的同时，还要处理跨园区通信带来的带宽和延迟问题。

届时，前沿模型训练将从单个数据中心内部，变成横跨多个园区、能源系统和光纤网络的系统工程。

但算力领先不等于模型领先。SemiAnalysis 也指出，Meta 当前公开模型在多项指标上仍落后于部分开源模型。

Meta 拥有追赶前沿所需的资源，但仍需要证明，它能把内部数据转化为有效训练环境，把新引进的人才组织成稳定团队，再把庞大的算力转化为持续的模型进步。

判断七：算力持续增长，但可变现需求增长更快

既然全球每年都在新增大量数据中心，为什么算力仍然紧缺？

问题在于，模型能力扩大可承接经济任务的速度，目前仍快于新算力上线的速度。

Anthropic 是这个机制最清晰的样本之一。（注意：下述数据主要来自 SemiAnalysis 对 Anthropic 未公开财务的估算，而非公司经审计披露。）

据 SemiAnalysis，Claude Code 的增长推动 Anthropic 年化经常性收入从 2025 年底约 90 亿美元升至 2026 年中超过 600 亿美元；约八成收入来自按 token 使用量计费的 API，消费者订阅占比偏低。

SemiAnalysis 同时估算，Anthropic 部分 API 业务的毛利率超过 80%；公司在第二季度剔除股权激励后已实现盈利，并可能在第三季度实现超 10 亿美元的 GAAP 息税前利润。

尽管这些数字不足以证明所有 AI 公司都找到了盈利模式，但至少说明少数头部实验室已经具备为算力支付溢价的能力。

Dylan 在播客中给出过一个直观推演：如果一项 API 业务原本拥有约 75% 的毛利率，即使算力成本翻倍，毛利率仍可能维持在约 50%。

对这样的公司而言，新增一张 GPU，不只是增加一项资本开支，而是获得一项能够迅速转化为付费 token 的生产资料——只要新增算力可以被立刻用于推理，并以较高毛利售出，头部实验室就有动力继续竞价购买算力。

SemiAnalysis 预测，到 2030 年，Anthropic 与 OpenAI 合计的未受限算力需求可能超过 100GW，而两家公司当前可用算力合计仅略高于 6GW。

在不考虑供给和资本约束的情况下，头部实验室希望部署的算力规模，仍远高于当前实际拥有规模。

模型之外，竞争才刚刚开始

到这里，再回看开头那条主因果链，模型能力只是起点。

它能否转化为真正的竞争优势，还取决于成本下降能否释放足够多的付费需求、稀缺资源能否按时交付，以及新增算力能否产生足够高的回报。

这也是为什么，过去两年被反复讨论的「谁的模型更强」，正进一步扩展为一组更复杂、也更难被追赶的能力：谁能持续把电力、芯片、内存、网络、数据和工程能力，转化为更便宜、更稳定，也更有经济价值的 token。