选型决策树​

开始
├─ 任务类型？
│   ├─ 训练 ──────────── [训练选型]
│   └─ 推理 ──────────── [推理选型]
└─ 地区？
    ├─ 北美 / 欧洲 ──── 全产品可选
    ├─ 中国 ────────── Huawei Ascend 系列
    └─ AWS Cloud ───── Trainium / Inferentia

训练选型​

100B+ LLM 训练​

推荐：

• 商业云端：NVIDIA Rubin NVL72
• 成本敏感：AWS Trn3 UltraServer
• 开放生态：AMD Helios
• Google Cloud：TPU 8t pod

70B LLM 训练​

推荐：

• 商业主流：NVIDIA H200 8 卡
• 性能优先：NVIDIA B300 Ultra 8 卡
• 性价比：AMD MI300X 8 卡
• AWS 云：Trainium 3 UltraServer

7B-13B LLM 训练​

推荐：

• 商业主流：NVIDIA A100 80GB
• 高端：NVIDIA H100
• 工作站：NVIDIA RTX 6000 Ada
• 性价比：AMD MI300X
• 预算敏感：Intel Gaudi 3

1B-3B LLM 训练​

推理选型​

70B+ LLM 推理（单卡）​

推荐：

• 商业云：NVIDIA B300 Ultra 或 TPU 8i
• 大显存：AMD MI400 / TPU 8i
• 超低延迟：Groq 3 LPX
• 性价比：AMD MI325X

7B-30B LLM 推理​

推荐：

• 商业云：NVIDIA L40S / A100
• AWS 云：Inferentia 2
• Google Cloud：TPU 8i
• 本地：Apple M3 Ultra

超低延迟推理（Agentic AI）​

推荐：

• Agentic AI（1000+ 调用/秒）：Groq 3 LPX（唯一选择）
• Real-time Code Gen：Groq 3 LPX
• 中等延迟需求：TPU 8i / H200

模型规模速查​

预算速查​

地区速查​

中国市场（必须国产）​

北美 / 欧洲（自由选择）​

AWS Cloud（仅 AWS 生态）​

Google Cloud（仅 Google 生态）​

延迟要求速查​

2026 H2 选型速查表​

详细产品页索引​

训练 GPU​

• NVIDIA Rubin R200
• NVIDIA B300 Ultra
• NVIDIA H200
• AMD MI400
• AMD MI300X
• Huawei Ascend 920

训练 ASIC​

• Google TPU 8t
• Google TPU v7 Ironwood
• AWS Trainium 3
• Intel Gaudi 3

推理 GPU​

• NVIDIA L40S
• NVIDIA L4
• AMD MI325X
• Huawei Ascend 910C

推理 ASIC​

• Google TPU 8i
• NVIDIA Groq 3 LPX
• AWS Inferentia 2

晶圆级​

• Cerebras WSE-3
• Cerebras WSE-4

其他​

• Apple M3 Ultra (192GB UMA)
• Groq LPU v1
• Jetson AGX Thor T5000

总结​

2026 H2 选型核心原则：

1. 训练 + 推理 = 同一芯片？多数场景用 NVIDIA B300 Ultra / H200 同时解决。
2. 超低延迟推理？选 Groq 3 LPX，无替代。
3. AWS 云？选 Trainium 3，每美元性能 2-3×。
4. Google Cloud？选 TPU 8t (训练) + TPU 8i (推理)。
5. 中国市场？Huawei Ascend 920 + CloudMatrix 384 Ultra。
6. 开放生态？AMD Helios（UALoF 开放互联）。
7. 预算敏感？AMD MI300X 或 Intel Gaudi 3。
8. 本地 LLM？Apple M3 Ultra (192GB UMA)。

没有最好，只有最合适。结合你的模型规模、延迟要求、预算、地区，参考本文的选型树和速查表。

电力需求：指数级增长​

单机柜功耗演进​

单机柜功耗 5 年增长 150×（6.5 kW → 1 MW）。这已接近核反应堆输出功率。

全球 AI 数据中心电力需求（IEA 预测）​

2030 年 AI 数据中心将占全球电力 9.5%（vs 2020 的 0.2%）。这是全球电力转型的核心驱动力。

主要 AI 公司电力消耗​

OpenAI 单独计划到 2028 年需要 40 TWh/年——超过瑞典全国年用电量（~35 TWh）。

三大电力危机​

危机 1：数据中心电力供应不足​

美国情况​

• 2025 北弗吉尼亚（全球最大数据中心集群）：电力申请需要等待 3-5 年
• 德州 Round Rock（Oracle 总部）：电网容量已满
• PJM 电网（美国最大区域电网）：2026-2030 缺电 5-10 GW

中国情况​

• 内蒙古、贵州（政府补贴数据中心）：部分限电
• 北京、上海（一线城市）：PUE 1.4 以下才批准新建
• 数据中心电力配额：2025 末已用完 60%

欧洲情况​

• 荷兰阿姆斯特丹（MSFT 投资区）：暂停新数据中心审批
• 爱尔兰都柏林（AWS 欧洲总部）：2030 前不再批准
• 北欧（挪威、瑞典、芬兰）：可再生能源丰富但容量有限

危机 2：电力成本飙升​

欧洲电价 2 年翻倍——这是 AI 公司向美国/中东迁移的原因之一。

危机 3：碳排放与 ESG 压力​

• 2025 全球数据中心碳排放：~150 Mt CO2（百万吨）
• 2028 (E)：~400 Mt CO2（超过德国全年）
• ESG 基金：越来越多要求"100% 可再生能源"数据中心

应对方案：核能复兴​

1. 核电重启​

美国 TVA + Microsoft 合作​

• 2025-10 协议：Microsoft 重启 Three Mile Island Unit 1 核电站（840 MW）
• 2028 投产：专属供电 Microsoft 数据中心
• 20 年合同：835 MW 全部由 Microsoft 消纳

Amazon + Talen Energy 合作​

• 2025-03 协议：Amazon 收购 Talen Energy Susquehanna 核电站 960 MW 数据中心园区
• 960 MW 全部供电 AWS
• 首个核电直供数据中心

Google + Kairos Power（小型模块化反应堆 SMR）​

• 2025-05 协议：500 MW SMR 供电 Google 数据中心
• 2030 首批：500 MW
• 2035 总计：500 MW × N 模块

2. 小型模块化反应堆（SMR）​

SMR（Small Modular Reactor） 是 AI 数据中心的终极方案：

主要 SMR 供应商​

CNNC HTR-PM 2023 已并网，是全球首个商用 SMR——比美国 SMR 早 4-5 年。

3. 其他清洁能源​

太阳能 + 储能​

• 2025 全美最大太阳能项目：Sunlight Captive 1.4 GW（德州）+ 700 MWh 储能
• Microsoft / Google / Amazon 都签 PPA（电力购买协议）
• 局限：夜间 / 阴天不稳定，储能成本高

地热​

• Google + Fervo Energy（2025-11）：150 MW 地热供电内华达数据中心
• 2028 计划：500 MW
• 优势：24/7 稳定供应

风电​

• Amazon + Avangrid（2025）：足够 1.5 GW 风电供电德州数据中心
• 局限：间歇性

4. 自然冷却 + 液冷​

降低数据中心 PUE（Power Usage Effectiveness） 也是关键：

液冷 PUE 1.05-1.15 vs 风冷 1.4-1.6——节能 25-40%。NVIDIA Rubin NVL576 必需液冷。

主要 AI 数据中心案例​

1. xAI Colossus（Memphis, Tennessee）​

• 2024-09 启用：100,000 颗 H100
• 单集群功耗：~200 MW
• 特殊供电：12 个移动天然气涡轮（临时方案）
• 争议：环境抗议、空气污染

2. Microsoft + OpenAI Stargate​

• 2025-01 宣布：$100B 投资 5 年
• 首期园区：德州 + 亚利桑那
• 总规划：5 GW（相当于 5 个核反应堆）
• 能源方案：核电 + 太阳能 + 储能混合

3. Amazon Project Rainier​

• 2024-12 启用：Anthropic 专用
• Trainium 2 集群：1,000,000 颗 Trainium 2 芯片
• 总功耗：~300 MW
• 能源：100% 无碳能源（核电 + 风电）

4. Meta Hyperion（Louisiana）​

• 2025-2027 建设：2 GW 数据中心园区
• 专供电厂：Meta + Entergy 合作 1.5 GW 天然气 + 风电
• 2027 投产：Llama 5 训练

5. Google 数据中心扩张​

• 2025-2026 新建 8 个数据中心
• 总规划：~3 GW 额外容量
• 能源：100% 无碳（2025 末已实现）
• 特殊项目：SMR 500 MW + 地热 150 MW

6. Huawei CloudMatrix 384 Ultra​

• 中国国内：贵州、内蒙古集群
• 电力来源：西部水电 + 风电（绿能）
• 功耗：~50 MW / 集群

绿色 AI 战略​

1. 能效优化​

• FP4 / FP8 量化：相比 FP16 减少 50% 功耗
• Sparse 算力：2:4 稀疏减少 50% 算力
• 液冷：降低 PUE 25-40%
• 模型压缩：MoE、Distillation、Pruning

2. 可再生能源承诺​

3. 碳捕获与封存​

• Microsoft + Occidental（2025-09）：$10B 投资碳捕获
• Amazon + CarbonCapture Inc.（2025-11）：100 MW DAC（直接空气捕获）
• Google + Climeworks（2025-08）：DAC + 储能混合项目

未来展望​

短期（2026-2027）​

• AI 电力紧缺加剧：需求增长 50% / 供应增长 15%
• 电价持续上涨：美国 +30% / 欧洲 +20%
• 核电重启加速：Microsoft、Amazon、Google 主导
• SMR 投资激增：2026 全球 SMR 投资 $50B+

中期（2027-2030）​

• HBM 内存 + 核能电力 = AI 算力两大瓶颈
• SMR 大规模部署：2028 首批商用，2030 达 10+ GW
• 碳中和数据中心成标配
• AI 算力向核电资源区迁移：德州、田纳西、加拿大

长期（2030+）​

• 聚变能商业化：Helion / TAE / Commonwealth Fusion 2030+
• 太空太阳能：理论 24/7 供电
• 量子计算辅助：降低 AI 算力需求

详细产品页​

• NVIDIA Rubin NVL576 (1MW/机柜)
• AMD Helios 机柜 (80 kW/机柜)
• AWS Trn3 UltraServer (100 kW/机柜)
• 未来路线图

总结​

AI 算力的「下一战场」是电力：

1. 单机柜功耗突破 1 MW（Rubin NVL576）——接近核反应堆
2. 全球 AI 数据中心 2026 需 800 TWh——超过德国全国
3. 核电重启：Microsoft / Amazon / Google 各锁定 1-2 GW 核电
4. SMR 兴起：2028 首批商用，单机 50-300 MW
5. 可再生能源：太阳能 / 风电 / 地热 / 水电 + 储能
6. 液冷成标配：PUE 1.05-1.15 vs 风冷 1.4-1.6

没有电力的 AI 算力，就是空中楼阁。

2026 年 AI 芯片市场格局​

头部：双寡头 + 5 个挑战者​

创业公司​

十大创业公司详解​

1. Tenstorrent：RISC-V 黑马​

Tenstorrent 由传奇芯片设计师 Jim Keller 领导（曾设计 AMD Zen / Apple A14 / Tesla FSD）：

Tenstorrent 关键产品​

Tenstorrent 关键优势​

• Jim Keller 个人品牌：业内顶级架构师
• 完全开源软件：TT-Metalium（GitHub 13K+ stars）
• RISC-V 生态：与 SiFive / RISC-V International 深度合作
• 政府 / 学术客户：RIKEN（日本）、多所美国大学

Tenstorrent 关键挑战​

• TDP 偏高：Blackhole p300 ~150W（vs H100 700W 性能仍弱）
• 生态薄弱：PyTorch 兼容性仍在改善
• 市场认知度低：相比 NVIDIA 难以获得企业客户

2. SambaNova：企业 RDU 一体机​

SambaNova 是企业级 AI 一体机的代表：

SambaNova SN40L 规格​

SambaNova 商业模式​

• 不卖芯片——卖一体机（SambaSystems）
• SambaFlow 软件栈（Apache 2.0）
• 专注企业私有部署：政府、银行、电信
• 2025 客户：美国空军、Accenture、HPE

SambaNova 关键挑战​

• 市场份额小：与 NVIDIA 巨头差距巨大
• 一体机模式难以扩展：每个客户需要定制
• 2024 裁员 20%（重组）

3. Graphcore：被软银收购​

Graphcore 是英国 AI 芯片先驱，但 2024 年被软银收购：

Graphcore 关键事件​

Graphcore 未来​

• 不再追求独立 IPO
• 被软银整合到 ARM 生态
• Bow Pod 128 仍是旗舰
• 可能 2027 退出（软银撤资）

4. Cambricon 寒武纪：A 股 250 亿​

Cambricon 是中国 AI 芯片第一股：

Cambricon 思元 590​

Cambricon 挑战​

• 软件生态薄弱：MLU 编程模型 vs CUDA 差距大
• 市场份额被 Huawei 挤压：昇腾 910C 2025 起算力领先
• 盈利能力差：仍亏损

5. Moore Threads 摩尔线程：A 股在审​

Moore Threads 是中国 GPU 第二：

Moore Threads MTT S5000​

Moore Threads 挑战​

• 生态薄弱：MUSA vs CUDA 差距
• 市场份额：远低于 Huawei
• A 股 IPO 待批

6. Biren 壁仞：港股在审​

Biren 是中国 GPU 第三：

Biren BR104​

Biren 关键事件​

• 2023 美国出口管制导致先进工艺受限
• 2024 推迟 IPO（业绩未达预期）
• 2025 末重新申请港股上市

7. Iluvatar 天数智芯：港股上市​

Iluvatar 已港股上市：

8. Lightmatter：硅光计算​

Lightmatter 是硅光计算先锋：

Lightmatter Envise​

9. Esperanto：RISC-V AI​

Esperanto 是 RISC-V AI 加速器代表：

10. Mythic：边缘 AI​

Mythic 是边缘 AI 模拟计算：

创业公司分类与未来​

类别 1：可能成功的（5-10 年内能 IPO 或被收购）​

类别 2：可能存活的（细分市场）​

类别 3：可能消失的​

投资逻辑​

创业公司为何能活？​

1. 细分市场：政府 / 国防 / 学术 / 特殊行业（NVIDIA 不做）
2. 差异化架构：RISC-V / 硅光 / 模拟 / 数据流（NVIDIA 不会走）
3. 本地化：中国 / 欧洲 / 日本 / 印度（数据主权 + 政治）
4. 大客户绑定：Tenstorrent + LG、SambaNova + 美国空军

创业公司为何会死？​

1. NVIDIA 生态碾压：CUDA + cuDNN + TensorRT 难以超越
2. 资金消耗大：7nm 工艺流片 $30M+，5nm $80M+
3. 软件迁移成本高：从 CUDA 迁移到非 NVIDIA 平台需要 6-12 月
4. 客户集中度高：失去大客户 = 死亡

详细产品页​

• Tenstorrent (Tensix 架构)
• SambaNova SN40L
• Graphcore IPU
• Cerebras WSE-3 (IPO 同类)
• Cambricon 思元 590
• 完整对比表

总结​

AI 芯片创业公司「赢家通吃」：

1. Tenstorrent 最有可能成功（Jim Keller + RISC-V + 开源）
2. SambaNova 转型成功（企业一体机 + 美国政府）
3. Graphcore 已被软银收购（命运移交日本）
4. Cambricon / Moore Threads / Biren 受益于中国国产化
5. Lightmatter / Esperanto 细分市场存活
6. Mythic 等小型公司 难以存活

未来 5 年，AI 芯片行业将经历「大鱼吃小鱼」——创业公司要么 IPO，要么被收购，要么消失。

HBM 为什么是 AI 时代的关键？​

内存墙（Memory Wall）​

AI 模型规模从 2018 年的 BERT（340M 参数）增长到 2024 年的 Llama 3（405B）和 2026 年的 Gemini（推测 1T+），算力增长 1000×，但内存带宽仅增长 10-20×。

这是著名的冯·诺依曼瓶颈：

算力增长远快于内存带宽增长，导致 GPU 经常"等数据"。HBM 是缓解这一瓶颈的核心。

HBM vs GDDR vs SRAM​

HBM 是带宽和容量的最佳平衡点。SRAM 最快但容量太小（每 GB 成本 100× HBM），GDDR 容量大但带宽不足。

三家厂商格局​

1. SK Hynix：当前 HBM 霸主（70% 份额）​

SK Hynix 是 HBM 市场的绝对领导者：

SK Hynix 关键优势​

• 最早量产 HBM3（2018）：技术先发
• NVIDIA 深度合作：HBM3、HBM3e 都是 NVIDIA 首发
• Advanced MR-MUF 工艺：封装良率领先
• HBM4 抢先：2026 Q1 首批量产

关键事件​

2. Samsung：HBM4 追赶者（20% 份额）​

Samsung 是 HBM 市场的挑战者，但受困于良率和 NVIDIA 认证：

Samsung 关键问题​

• HBM3 NVIDIA 认证未通过：2023-2024 多次送样失败
• 良率低：HBM3e 良率 ~50%（SK Hynix ~70%）
• 技术路线分歧：Samsung 押注 TC-NCF（vs SK Hynix 的 MR-MUF）
• 2024 大幅亏损：HBM 业务投入巨大但回报慢

Samsung 2025-2026 突破​

2025 末 Samsung 终于获得 NVIDIA HBM3e 12-Hi 部分订单，这是 Samsung HBM 业务的转折点。

3. Micron：HBM 黑马（10% 份额）​

Micron 是 HBM 市场的黑马，凭借HBM3E 12-Hi 9.2 Gbps 速度成为 NVIDIA 第二供应商：

Micron 关键优势​

• HBM3E 12-Hi 9.2 Gbps：业界最高速度（领先 SK Hynix 的 9 Gbps）
• 美光本土制造：美国爱达荷/纽约工厂，符合 CHIPS Act
• NVIDIA 第二供应商：避免单源风险
• 2025 突破：营收同比 +200%，是三家中增长最快

Micron 关键事件​

Micron 是三家中增长最快的，2025 同比 +200%。但产能仅 5,000 wafer/月，限制其市占率提升。

HBM 技术路线图​

HBM4 关键规格​

HBM4E / HBM5 路线图​

产能与价格​

HBM 产能（2026 计划）​

2026 HBM 产能紧张：需求 ~50,000 wafer/月，供给仅 40,000 wafer/月，缺口 20%。

HBM 价格（per GB）​

HBM 占 AI 芯片成本 30-50%。NVIDIA B200 的 HBM 成本约 $5,000-8,000（192GB HBM3e × ~$30/GB）。

HBM 与 AI 芯片供应的关联​

NVIDIA Rubin R200 HBM 供应链​

NVIDIA 仍严重依赖 SK Hynix。这是 NVIDIA 供应链的单点故障风险。

AMD MI400 HBM 供应链​

Google TPU HBM 供应链​

Huawei Ascend 920 HBM 供应链​

Huawei 受美国出口管制影响，被迫加速国产 CXMT HBM 替代。

投资分析​

三家厂商 2025-2026 表现​

股价表现（2025 至今）​

SK Hynix 是 AI 内存最大受益者，2025 涨幅 120%，超过 Samsung（仅 15%）。

风险与挑战​

1. HBM 产能紧张​

• 2026 缺口 20%（需求 50K wafer vs 供应 40K）
• NVIDIA Rubin R200 出货可能因 HBM 供应紧张而延迟
• 客户预付定金已成为常态

2. 美国出口管制​

• HBM 出口中国受美国商务部严格限制
• Samsung、SK Hynix 在中国工厂受限
• Huawei 加速国产 CXMT HBM 替代

3. 技术路线分歧​

• SK Hynix：MR-MUF 路线，领先
• Samsung：TC-NCF 路线，落后但在追
• Micron：介于两者之间

4. 竞争技术​

• Samsung HBM-PIM：HBM 内置处理单元（存算一体）
• TSMC SoIC：3D 堆叠 SRAM + Logic
• Micron HBM-CX：Compute Express Link 集成

未来展望​

短期（2026-2027）​

• HBM 持续紧张：需求 > 供给
• 价格高位：HBM4 $20-25/GB
• 三家共存：SK Hynix 70% + Samsung 20% + Micron 10%

中期（2027-2029）​

• HBM4E / HBM5：容量 64-96 GB，速度 20-28 Gbps
• 国产 HBM 崛起：CXMT 量产 8-Hi
• 新进入者：长江存储（YMTC）可能进入 HBM 市场

长期（2029+）​

• HBM6 / 3D HBM：堆叠更多层，TSV 替代品
• PIM-HBM：HBM 内置处理单元
• 替代技术：片上 SRAM 容量突破（如 Cerebras WSE）

详细产品页​

• NVIDIA Rubin R200（HBM4 首发）
• AMD MI400（CDNA Next + HBM4）
• Google TPU 8t + 8i（HBM 集成）
• Cerebras WSE-3（晶圆级 SRAM vs HBM）
• 完整对比表

总结​

HBM 三家争霸战将持续 3-5 年：

1. SK Hynix 短期不可撼动——HBM4 首发 + NVIDIA 深度绑定
2. Samsung 在 2025 末突破——HBM3e 12-Hi 终于获 NVIDIA 认证
3. Micron 是最快增长者——HBM3E 9.2 Gbps 业界最快
4. 产能紧张持续——2026 缺口 20%
5. 国产 HBM 崛起——CXMT 长鑫 4 Tbps 突破

HBM 不是配角，而是 AI 时代的"水电煤"。

为什么是机柜级时代？​

单芯片对标的局限​

单芯片 TDP 即将突破 3,000W——物理散热、电源、互联都达到极限。

机柜级的优势​

• 统一散热：液冷整柜，散热效率高
• 统一电源：集中供电，能效优化
• 统一互联：NVLink 6 / UALoF / GroqSync / NeuronLink
• 统一管理：单系统软件栈
• 统一采购：单 SKU 购买，简化运维

五大机柜级方案​

1. NVIDIA Rubin NVL72 / NVL576​

Rubin NVL576 = 28.8 EFLOPS FP4 = 1.5 ExaFLOPS FP8 = 全球最强 AI 超级节点

2. AMD Helios 机柜​

Helios 在 dense 算力上超越 NVIDIA Rubin NVL72（2.88 vs 1.8 EF FP8 dense）

3. NVIDIA Groq 3 LPX 机柜（推理专用）​

Groq 3 LPX 是当前唯一专为 Agentic AI 设计的机柜级 LPU 系统

4. AWS Trn3 UltraServer​

Trn3 UltraServer = 性价比最高的大规模训练方案（每美元性能 2-3× NVIDIA）

5. Google TPU 8t pod​

TPU 8t pod = 全球最大 AI 训练集群（9,216 颗芯片 × 9 PFLOPS ≈ 83 EFLOPS FP4 dense）

五大方案横向对比​

选型建议​

大规模训练​

超低延迟推理​

成本敏感训练​

机柜级的未来趋势​

1. 单机柜算力持续增长​

2. 多机柜互联标准竞争​

3. 软件生态分层​

• 训练框架：PyTorch + JAX + Megatron
• 推理引擎：vLLM + TensorRT-LLM + SGLang
• 资源调度：Slurm + Kubernetes + Ray
• 多机柜管理：NVIDIA Base Command / AMD ROCm RunTime

详细产品页​

• NVIDIA Rubin R200 (NVL72 / NVL576)
• NVIDIA Groq 3 LPX
• AMD MI400 (Helios 机柜)
• AWS Trainium 3 (Trn3 UltraServer)
• Google TPU 8t (9,216 pod)
• Google TPU 8i (推理专用)
• 未来路线图

总结​

2026 年 AI 算力的主战场是机柜级方案：

1. NVIDIA Rubin NVL72/NVL576——训练最强，FP4 3.6/28.8 EFLOPS
2. AMD Helios——开放生态，dense 算力领先
3. Groq 3 LPX——超低延迟推理，TTFT < 20ms
4. AWS Trn3 UltraServer——性价比最高，2-3× 每美元
5. Google TPU 8t pod——超大规模，9,216 chip 集群

没有最好，只有最合适。选型需结合：

• 模型规模（100B / 700B / 1T+）
• 训练 vs 推理
• 延迟要求（普通 vs Agentic）
• 生态偏好（CUDA / ROCm / JAX / Neuron）
• 预算（$2-10M/机柜）
• 部署位置（自建 / 云）

Falcon Shores 取消事件​

为什么取消 Falcon Shores？​

1. 第三次季度亏损​

2026 Q1 Intel 第三次季度亏损：

• 营收：$12.7B（同比 -7%）
• 净亏损：-$1.6B
• AI 业务（Habana）：营收仅 $0.4B，远低于预期

研发预算紧张，无法同时支持 Falcon Shores + Gaudi + Xeon + 18A 工艺。

2. 单芯片 200 PF 不现实​

Falcon Shores 原计划 2025 年发布 200 PFLOPS 单芯片，对标 B100。

但到 2026 年，行业现实是：

• NVIDIA Rubin R200 单芯片 50 PFLOPS FP4 sparse（25 PF dense）已是极限
• 单芯片 200 PF 物理不可行（功耗、面积、HBM 容量都达不到）
• 业界已转向机柜级方案（NVL72、Helios、UltraServer）

3. HBM 供应紧张​

HBM 供应紧张，优先供应 NVIDIA：

• SK Hynix：70% 产能给 NVIDIA
• Micron：60% 产能给 NVIDIA
• Samsung：份额被压缩

Intel 难以获得足够 HBM 供应单芯片 200 PF 计划。

4. 市场转向机柜级​

2026 年 AI 算力市场已转向机柜级：

• NVIDIA Rubin NVL72（72 GPU）
• AMD Helios（72 MI400）
• AWS Trn3 UltraServer（144 chip）
• Google TPU 8t pod（9,216 chip）

单芯片对标已无意义，机柜级才是主战场。

Jaguar Shores：Intel 的机柜级反击​

⚠️ 未官方公布：以上规格均为推测，Intel 仅有路线图级别披露。所有数字以 Intel 后续公布为准。

Intel AI 战略重组（2026-05）​

Intel 不再做 AI GPU 直接对标 NVIDIA：

• 短期：Gaudi 3 维持（性价比对标）
• 中期：Jaguar Shores 系统级（机柜级对标）
• 长期：Intel Foundry 18A 为 AI 厂商代工（Intel 做"AI 代工厂"）

Intel Foundry 18A 战略​

Intel 的真正"AI 终极战略"是代工：

如果 Intel Foundry 18A 良率达到台积电 N3 水平，Intel 将从"AI GPU 失败者"转变为"AI 算力代工霸主"。

对 Intel 客户的影响​

Gaudi 3 / Gaudi 3E（短期）​

• 2024 发布，性价比优于 NVIDIA H100
• 2026 维持，作为 Intel 主力 AI 训练芯片
• 主要客户：部分企业级 + 政府/电信

Jaguar Shores（中期）​

• 2027-2028 发布
• 适合机柜级训练
• 主要客户：政府、电信、超算中心

Intel Foundry 18A（长期）​

• 2027 量产（推测）
• 客户：NVIDIA、AMD、AWS、Microsoft
• Intel 的真正 AI 收入来源

对 AI 行业的影响​

1. AI 芯片竞争格局变化​

2. UALoF 开放互联加速​

Intel 加入 UALoF 联盟后：

• AMD + Intel + Broadcom 共同推动 UALoF
• 挑战 NVIDIA NVLink 封闭生态
• 2027-2028 年 UALoF 可能成为开放标准

3. AI 代工业务竞争​

• TSMC 仍主导：3nm / 2nm 工艺领先
• Intel Foundry 18A 迎头赶上：2026 试产，2027 量产
• Samsung Foundry：3nm GAA 工艺量产，但客户少

详细产品页​

• Intel Jaguar Shores 完整规格
• Intel Gaudi 3（当前主力）
• Intel Gaudi 2（上一代）
• NVIDIA Rubin R200（同期）
• AMD MI400（同期）
• 未来路线图

总结​

Intel 取消 Falcon Shores 转向 Jaguar Shores 是 2026 年 AI 芯片行业最重大战略调整之一：

1. 承认单芯片对标 NVIDIA 不现实
2. 转向机柜级系统（与 AMD Helios 同方向）
3. 强化 Intel Foundry 18A 代工（真正长期战略）
4. Gaudi IP 整合到 Jaguar Shores
5. 开放互联 UALoF 联盟（挑战 NVLink）

Intel 的 AI 战略从"直接对标 NVIDIA"转向"机柜级系统 + AI 代工厂"，是一次务实的战略调整。未来 5 年，Intel Foundry 18A 的成败将决定 Intel 在 AI 时代的最终命运。

推理优化 vs 训练优化​

推理优化比训练优化更复杂——因为延迟敏感 + 内存受限 + 多种工作负载。

三大核心技术​

1. PagedAttention（vLLM 核心）​

PagedAttention 是 UC Berkeley 团队（李卓、@woody-yc 等）在 vLLM 论文（SOSP 2023） 中提出的KV Cache 内存管理革命。

问题：传统 KV Cache 浪费严重​

• 传统方式：为每个请求预分配最大长度的 KV Cache 空间
• 例：70B 模型 + 4K 上下文 = ~2 GB KV Cache / 请求
• 100 个并发请求 = 200 GB——爆显存

原理：操作系统分页思想​

传统方式:
[请求1: 2GB 连续] [请求2: 2GB 连续] [请求3: 2GB 连续]  -- 大量内部碎片

PagedAttention:
[请求1: page 0,1,2,3] [请求2: page 4,5,6,7] [请求3: page 8,9,10,11]  -- 页表管理

• 每个 page = 16 tokens 的 KV Cache
• 按需分配 page，无需预分配
• page table 跟踪映射关系
• 碎片化 < 4%（vs 60-80%）

性能提升​

PagedAttention 让 vLLM 成为 LLM 推理的事实标准——70B 模型吞吐量提升 8-15×。

适用场景​

• ✅ 高并发在线推理（ChatGPT、Claude、文心一言）
• ✅ 长上下文（32K+ token）
• ✅ 多模型服务（共享 GPU 池）
• ❌ 单用户离线推理（提升有限）

2. FlashAttention（GPU 优化）​

FlashAttention 是 Tri Dao 等 在 2022 年提出的 GPU 内存层次优化：

问题：注意力矩阵 O(N²) 内存​

• 标准 attention：需要存储 N×N 注意力矩阵
• 8K 上下文：8K×8K = 64M floats = 256 MB
• 32K 上下文：32K×32K = 1G floats = 4 GB——爆显存
• 128K 上下文：128K×128K = 16G floats = 64 GB——不可能

原理：分块（tiling） + 重计算​

标准 Attention:
Q @ K^T → 存储 N×N 矩阵 → softmax → @ V   -- 需要 256MB+ HBM

FlashAttention:
分块计算，每块在 SRAM 内部处理，**不存储 N×N 矩阵**
Q 块 × K 块^T → 局部 softmax → × V 块   -- SRAM 内部

• 核心思想：利用 GPU 的 SRAM（HBM 上的高速缓存）
• HBM 读写次数：从 O(N²) 降到 O(N)
• 重计算：反向传播时重新计算 attention，不存中间结果

性能提升​

FlashAttention 演进​

FlashAttention v3 + H100/H200 达到 1100+ TFLOPS（FP16）——超过官方标称算力。

适用场景​

• ✅ 所有 attention 计算（训练 + 推理）
• ✅ 长上下文（128K+ token）
• ✅ GPU 推理必备（H100/B200 标配）
• ❌ 边缘设备（不需要 attention 优化）

3. Speculative Decoding（投机解码）​

Speculative Decoding（投机解码 / 推测解码）是 Leviathan et al. 2023 提出的推理加速技术：

问题：自回归生成慢​

• LLM 一次生成 1 个 token
• 每个 token 需要完整 forward pass
• H100 FP16：~50ms/token——长生成耗时

原理：小模型 + 大模型协同​

传统:
大模型 → token 1 → token 2 → token 3 → ...    -- 每个 token 都用大模型

Speculative Decoding:
1. 小模型 (Draft Model) 一次生成 5 个候选 token: [t1, t2, t3, t4, t5]
2. 大模型 (Target Model) 一次验证 5 个 token（一次 forward pass）
3. 接受前 k 个匹配的 token（k+1 用大模型重新生成）
4. 重复

• 小模型：~100× 更快（70B → 1B）
• 大模型：一次 forward 验证多个 token
• 理论加速：2-4×（取决于小模型精度）

性能提升​

主流 Speculative Decoding 方案​

vLLM 0.6+ 默认支持 Speculative Decoding——配置简单，性能提升 2-3×。

适用场景​

• ✅ 大模型离线批处理（效果最显著）
• ✅ 长输出生成（代码、文章、报告）
• ✅ 多轮对话（ReAct、Agent）
• ❌ 极短输出（1-5 个 token，加速比有限）

其他重要优化技术​

4. Continuous Batching（连续批处理）​

vLLM / TGI / TensorRT-LLM 全部支持：

• 传统：等 batch 满才处理，新请求等待
• Continuous：动态插入新请求到正在运行的 batch
• 提升：吞吐量 2-4×

5. Quantization（量化）​

NVFP4 (NVIDIA) + 量化感知训练 = 接近 FP16 质量 + 2-3× 性能。

6. Prefix Caching（前缀缓存）​

• 场景：多个请求共享相同 system prompt
• 方法：缓存 KV Cache 的前缀
• 加速：相同 prefix 部分 0 计算，~10-100× 加速

7. Chunked Prefill（分块预填充）​

• 问题：长 prompt 预填充阻塞其他请求
• 方法：将预填充分块，与解码交错
• 提升：TTFT -50%，总吞吐 +20%

推理优化软件栈​

vLLM（最流行）​

TensorRT-LLM（NVIDIA）​

SGLang（UC Berkeley 新作）​

• RadixAttention：类似 Prefix Caching，更高效
• 结构化生成：JSON / regex guided generation
• 2025 增长迅速

llama.cpp（本地）​

• GGUF 格式
• CPU / GPU / Apple Silicon 全支持
• 本地 LLM 首选

实际性能对比（70B 推理）​

B200 + NVFP4 + TensorRT-LLM = 5000 tok/s = 比 FP16 H100 提升 20×。

推理优化对硬件选型的影响​

优化 → 硬件需求降低​

全套优化后，硬件需求降低 3-5×——70B 推理从 8× H100 降到 1-2× H100。

选型建议​

未来展望​

短期（2026-2027）​

• FlashAttention v4 适配 Rubin R200
• Speculative Decoding 标准化（OpenAI API 支持）
• Multi-modal Speculative（视觉 + 语言联合）
• 端到端编译：torch.compile + TensorRT

中期（2027-2030）​

• 端到端 GPU 内核生成：ML-based kernel synthesis
• PIM-HBM 推理：HBM 内部做 attention
• 100× 推理加速（vs 2023 基线）

长期（2030+）​

• 神经符号推理：LLM + 符号系统
• 量子 + LLM 协同
• 真正"零延迟"AI 助手

详细产品页​

• NVIDIA H100 (PagedAttn 主流硬件)
• NVIDIA B200 / B300 (NVFP4 + TensorRT-LLM 最佳)
• NVIDIA Groq 3 LPX (超低延迟推理新范式)
• Apple M3 Ultra 192GB (本地 LLM 之王)
• 完整对比表

总结​

LLM 推理优化的三大核心技术：

1. PagedAttention (vLLM)：KV Cache 内存管理 → 8-15× 吞吐量
2. FlashAttention (Tri Dao)：GPU 内存层次优化 → 2-3× 训练 / 推理
3. Speculative Decoding：小模型 + 大模型协同 → 2-3× 推理速度

全套优化后，硬件需求降低 3-5×——软件优化的 ROI 远超硬件升级。

未来 5 年，推理优化将让 AI 推理成本降低 10-100 倍。

Apple Silicon 演进：从 M1 到 M4​

Apple Silicon 时间线​

M3 Ultra 192GB UMA = 可装 70B 模型（FP16）+ 大 KV Cache。

Apple Silicon 的关键创新：统一内存架构（UMA）​

UMA vs 传统 GPU 显存​

UMA 的核心理念：CPU 和 GPU 共享同一块内存，无需数据复制，特别适合大模型推理（prompt 和 KV cache 可在 CPU/GPU 间无缝传递）。

UMA 对 LLM 推理的影响​

场景 1：70B 模型推理​

M3 Ultra 装 70B FP16 模型后，仍有 52GB 余量给 KV Cache——这是 NVIDIA 80GB 卡做不到的。

场景 2：200B 模型推理​

价格 24× 优势 + 功耗 7× 优势——Apple Silicon 在大模型推理上性价比远超 NVIDIA。

Apple Silicon AI 生态​

1. MLX（Apple 自研框架）​

MLX 是 Apple 2023 年开源的机器学习框架，专门为 Apple Silicon UMA 优化：

• GitHub：https://github.com/ml-explore/mlx
• API 兼容 PyTorch / NumPy
• 支持 LLM / Diffusion / Vision 全场景
• 2026 已成为 Apple Silicon 上 LLM 推理的事实标准

MLX vs PyTorch 性能对比（M3 Ultra）​

MLX 比 PyTorch MPS 性能提升 50-100%。原因：MLX 针对 UMA 优化，避免 CPU/GPU 内存复制。

2. llama.cpp（GGUF 量化）​

llama.cpp 是社区最流行的本地 LLM 框架：

• 支持 Apple Silicon Metal GPU 加速
• GGUF 量化格式：Q4_K_M / Q5_K_M / Q6_K
• 70B 模型在 M3 Ultra 上：
  • Q4_K_M（40 GB）：~10-15 tok/s
  • Q5_K_M（48 GB）：~8-12 tok/s
  • Q6_K（56 GB）：~6-9 tok/s
  • Q8_0（75 GB）：~5-7 tok/s

3. Ollama（本地 LLM 一键运行）​

Ollama 是 2024-2025 最流行的本地 LLM 工具：

• 一键运行 Llama 3 / Mistral / Qwen / Gemma
• M3 Ultra 上 70B 模型可流畅运行
• 2025 月活 100 万+

4. LM Studio（GUI 客户端）​

LM Studio 是 2024-2025 最流行的本地 LLM 客户端：

• 完全 GUI，无需命令行
• M3 Ultra 优化（MLX 后端）
• 支持 Llama 3.1 405B 量化（GGUF）

5. vLLM（推理服务）​

vLLM 0.7+ 实验性支持 Apple Silicon：

• PagedAttention 优化
• 70B FP16 服务在 M3 Ultra 上可行
• TTFT ~500ms，TPOT ~80ms

实际性能测试​

M3 Ultra vs NVIDIA H100（70B FP16 推理）​

Apple Silicon 在"单用户长上下文"场景下完胜 NVIDIA——但在高并发低延迟"场景下不如 NVIDIA。

M3 Ultra vs Apple M2 Ultra（代际提升）​

M3 Ultra 提升有限（4-20%）。主要改进是能效和制程。

Apple Silicon AI 适用场景​

✅ 最佳场景​

❌ 不适合场景​

Apple Silicon vs NVIDIA 推理对比​

70B 模型推理​

价格性能比（每美元吞吐量）​

Apple M3 Ultra 是本地部署的"性价比之王"——价格性能比 2.5× NVIDIA H100。

Apple Silicon 局限​

Apple AI 战略（2025-2026）​

WWDC 2025 公告​

• Apple Intelligence 全面接入 iOS 18 / macOS 15
• Private Cloud Compute：Apple 自建数据中心，使用 Apple Silicon
• M4 Ultra 2025-Q4 发布
• M5 系列 2026 推测（3nm+ 增强）

Apple Intelligence 与 M3 Ultra​

• Apple Intelligence 后端推理完全在 M3 Ultra 上本地运行
• 写作工具 / 图像生成 / Siri 增强等全部本地
• 隐私优先：仅在必要时调用 Private Cloud Compute

Apple 与 OpenAI 合作​

• iOS 18 + ChatGPT 集成（用户可选）
• 不替代 Apple Intelligence，而是补充
• 不直接创造 Apple Silicon AI 需求

M4 Ultra 预期（2025-Q4 推测）​

M4 Ultra 256GB UMA = 可装 200B 模型（FP16）——大模型本地推理新时代。

详细产品页​

• Apple M-Series 总览
• Apple M3 Ultra 192GB
• NVIDIA H100 (对比)
• AMD MI300X (对比)
• Google TPU 8i (云端对比)
• 完整对比表

总结​

Apple Silicon 在 AI 时代的逆袭：

1. M3 Ultra 192GB UMA = 本地 70B FP16 + 32K KV Cache
2. MLX 框架 = 比 PyTorch MPS 性能提升 50-100%
3. 价格性能比 = 2.5× NVIDIA H100
4. 功耗 = 480W (M3 Ultra) vs 5,600W (8× H100)
5. Apple Intelligence = 全本地 AI 助手
6. M4 Ultra 256GB 即将发布 = 200B 模型本地

Apple Silicon 不是"数据中心 AI 杀手"，但是"本地 AI 部署之王"。

如果你需要：

• 本地 LLM 推理 → Apple M3 Ultra（最佳）
• 大规模训练 → NVIDIA H100 / Rubin R200
• 高并发推理服务 → NVIDIA H100 + Groq 3 LPX
• 本地文生图 → Apple M3 Max / Ultra
• 隐私敏感 AI → Apple Silicon（完全离线）

MI400 核心规格​

432 GB HBM4 = 全球单卡最大显存。相比 NVIDIA Rubin R200 的 288 GB，多 50%。这对超大模型推理是关键优势。

CDNA Next 架构亮点​

AMD 在 CDNA Next 上的关键演进：

1. FP4 矩阵引擎：原生支持 MXFP4 / NVFP4
2. 增强的稀疏计算：比 CDNA 4 提升 2× sparse throughput
3. 更大的 Infinity Cache：~512 MB
4. 异构调度器：CPU+GPU 协同优化（EPYC Venice 协同）

Helios 机柜：AMD 的 NVL72 回应​

Helios 是 AMD 的机柜级方案，对标 NVIDIA GB300 NVL72 / Rubin NVL72：

AMD Helios 在 dense 算力上超越 NVIDIA Rubin NVL72（2.88 vs 1.8 EFLOPS）。但 NVIDIA 的 sparse 算力翻倍后达到 3.6 EFLOPS，所以是"互有胜负"。

UALoF：开放互联挑战 NVLink​

Ultra Accelerator Link（UALoF / UALink） 是 AMD + Broadcom + Intel 共同推动的开放标准 scale-up 互联协议：

• 目标：取代 NVLink 单家封闭生态
• 2026 首发：AMD Helios 72-GPU 机柜
• 后续：Intel Jaguar Shores、AWS UltraServers

UALoF 关键特性：

UALoF 的真正威胁不是当下，而是未来。如果 UALoF 能在 2-3 年内构建完整生态，NVIDIA 的封闭互联优势将被削弱。

ROCm 8 软件生态​

AMD 在 ROCm 上持续投入：

• ROCm 7.x（2025 GA）：PyTorch / JAX / Triton 全优化
• ROCm 8.x（2026）：CDNA Next 首发，全面支持 FP4 / FP8
• vLLM 0.7+（AMD-SGLang 优化版）
• AMD Composable Kernel (CK)：类比 CUDA Cores，开源
• MIGraphX / ONNX-Runtime：推理引擎
• Infinity Hub：AMD 官方参考实现

部署推荐​

MI400 vs Rubin R200（同期旗舰对比）​

AMD 优势：显存大、FP4 dense 算力领先、开放互联、功耗较低 NVIDIA 优势：HBM 带宽、CPU 集成、DC 网络、CUDA 生态

详细产品页​

• AMD MI400 完整规格
• AMD MI350（前代）
• NVIDIA Rubin R200（同期）
• AMD Helios 机柜文档
• 未来路线图

总结​

AMD MI400 + Helios 是 AMD 在 AI 算力上的最强反击：

1. CDNA Next + 432 GB HBM4 在硬件规格上不输 NVIDIA
2. Helios 72-GPU 机柜 在 dense 算力上甚至超过 NVIDIA NVL72
3. UALoF 开放互联 是对 NVLink 封闭的真正威胁
4. ROCm 8 生态 持续改善，但仍需时间

2026 年，AMD 是唯一能正面挑战 NVIDIA 的 GPU 厂商。

为什么要拆分 TPU？​

过去 7 代 TPU（v1 → v7 Ironwood）都是训练/推理通用的：

• v4-v6e：训练为主、推理辅助
• v7 Ironwood：开始偏向推理，但仍是通用

但 2025-2026 年的 AI 行业发生根本变化：

1. 训练需求：仅几家头部公司（OpenAI、Anthropic、Google DeepMind、Meta、xAI）需要
2. 推理需求：所有 AI 应用都需要，是 100× 更大的市场
3. 推理优化方向：与训练截然不同
   • 训练：算力 + 互联优先（compute-bound）
   • 推理：显存 + 带宽 + 散热灵活优先（memory-bound + TCO 敏感）

Google 因此决定将 TPU 拆分为两条产品线：

TPU 8t：训练专用​

Arm Axion 是 Google 自研的 64 核 ARM CPU，首次进入 TPU 节点。这让 TPU 8t 节点成为 TPU + Axion CPU 协同系统，对标 NVIDIA Vera CPU。

TPU 8i：推理专用​

TPU 8i 单卡 288GB HBM = 当前最大显存推理 ASIC。单卡可装 FP16 70B 模型（不需张量并行），非常适合长上下文 RAG、Agentic AI。

TPU 8t vs 8i 关键差异​

拆分目的：训练强调算力 + 互联，推理强调显存 + 带宽 + 散热灵活性。

TPU 8i 推理范式优化​

TPU 8i 专门为推理场景优化：

TPU 8t 训练范式优化​

TPU 8t 专门为训练场景优化：

TPU 8i 推理服务定价​

TPU 8i 单美元 BF16 算力比 TPU v7 Ironwood 高 70%（按 2.4× 算力 / 1.5× 价格）。

软件生态​

TPU 8t​

• JAX 0.5+：Google 主力训练框架
• PyTorch/XLA 2.5+：PyTorch 兼容
• TensorFlow 2.17+：旧框架
• Paxml / Orbax：Google 内部 LLM 训练栈
• MaxText：Google 参考实现

TPU 8i​

• JAX 0.5+：推理
• PyTorch/XLA 2.5+：推理
• vLLM 0.8+（TPU 后端）：低延迟推理
• Vertex AI Inference：Google 托管推理服务
• Gemini API：内部最大用户

与同期竞品对比​

详细产品页​

• Google TPU 8t 完整规格
• Google TPU 8i 完整规格
• Google TPU v7 Ironwood（上一代）
• TPU 架构详解
• NVIDIA B300 Ultra

总结​

Google TPU 8t + 8i 拆分是 AI 推理时代的标志性事件：

1. 首次拆分训练/推理 TPU——TPU 进入"专用化"时代
2. TPU 8i 288GB HBM——单卡可装 70B 模型
3. TPU 8i 风冷——降低数据中心部署门槛
4. Arm Axion 集成——Google 自研 CPU 进入 TPU
5. JAX 训练范式——Google 押注 JAX 作为下一代训练标准

Google 现在有"全场景 AI 算力覆盖"：

• 训练：TPU 8t pod
• 通用推理：TPU 8i
• Gemini API：TPU 8i 集群
• Vertex AI：TPU 8i 商用

Naming Origin: Honoring Astronomer Vera Rubin​

NVIDIA chose "Vera Rubin" as the codename for the next-generation platform, honoring astronomer Vera Florence Cooper Rubin (1928-2016). In the 1960s-70s, through studying galactic rotation curves, she provided the first conclusive proof of dark matter's existence.

NVIDIA naming the next-generation platform of the AI compute revolution after her carries deep philosophical meaning:

• Dark matter is the "invisible" yet dominant mass component of the universe
• AI compute is the "invisible" yet dominant underlying infrastructure of the digital economy

6-Chip Packaging (CoWoS-L)​

The Vera Rubin platform adopts the industry's first 6-chip CoWoS-L packaging:

Compared to the Blackwell B300 Ultra's 2-chip package (only 2 GPU dies), Vera Rubin features a 3× increase in chip count, with substantial transistor count growth.

Core Specifications (Per GPU)​

Data Convention: Post-Blackwell NVIDIA products continue to use sparse compute as the official metric. FP4 50 PF = dense 25 PF. For cross-vendor comparison, AMD MI400's 40 PF FP4 dense = NVIDIA Rubin R200's 80 PF FP4 sparse.

Vera CPU Deep Dive​

The Vera CPU is NVIDIA's first self-designed ARM-based server CPU, succeeding Grace:

Why ARM? NVIDIA acquired ARM in 2020 (failed), but obtained the permanent ARM architecture license and Neoverse series code. Vera is essentially NVIDIA's "ARM Olympus" design.

Rubin GPU: 4x Blackwell Performance​

The Rubin GPU achieves 4× Blackwell B300 Ultra performance through:

• 2× SMs (Streaming Multiprocessors)
• 2× HBM4 bandwidth (22 TB/s vs HBM3e 11 TB/s)
• FP4 Tensor Core (new precision, 4× FP8)
• Transformer Engine 3 (9× DNN inference acceleration)
• RAS Engine (Reliability, Availability, Serviceability)

Memory Subsystem: HBM4 288GB​

The HBM4 standard, formalized in 2026, brings:

• Per-stack capacity: 36 GB → 48 GB (33% increase)
• Per-stack bandwidth: 1.2 TB/s → 1.6 TB/s (33% increase)
• Stack height: 12-Hi → 16-Hi
• Per-package capacity: 288 GB (6 stacks × 48 GB)
• Per-package bandwidth: 22 TB/s (theoretical peak)

Compute Matrix: FP4 Everywhere​

Vera Rubin is the first NVIDIA platform to natively support FP4 data type:

Networking: ConnectX-9 28.8 TB/s​

The ConnectX-9 is NVIDIA's next-generation network adapter:

• Bandwidth: 1.6 Tbps per port (2× ConnectX-8)
• GPU ratio: 2× ConnectX-9 per GPU
• Aggregate GPU-to-GPU: 28.8 TB/s (per Rubin GPU)
• Protocols: NVLink 6, PCIe Gen 6, RoCE v2, InfiniBand NDR
• Encryption: AES-256-GCM hardware acceleration

Rack-Scale Solutions​

Vera Rubin supports two rack-scale configurations:

1. Rubin NVL72 (1 Rack)​

• GPU count: 72 (NVL72 1×72 topology)
• CPU count: 36 Vera
• Total HBM4: 20.7 TB
• Total bandwidth: 1.6 PB/s
• Peak FP4: 1.4 EFLOPS (1 Rack unit)
• Power: ~130 kW

2. Rubin NVL576 (8 Racks)​

• GPU count: 576 (NVL576 8×72)
• CPU count: 288 Vera
• Total HBM4: 165 TB
• Total bandwidth: 12.7 PB/s
• Peak FP4: 28.8 EFLOPS (full cluster)
• Power: ~1.1 MW (single data hall)

1.1 MW single-hall power consumption marks Vera Rubin NVL576 as the first data hall that requires substation-level dedicated power supply, posing new challenges to data center design.

Software Ecosystem​

The Vera Rubin platform's software stack:

• CUDA 13.0: Full FP4 / FP8 / FP16 / BF16 / TF32 support
• cuDNN 9.0: FP4 Tensor Core acceleration
• TensorRT 11.0: LLM FP4 quantization deployment
• Megatron-LM 0.12: Distributed training framework
• TensorRT-LLM 2.0: LLM inference optimization
• NeMo 2.0: LLM/Speech AI/Visual Agent framework

Competitive Analysis​

Apple Silicon M5 Ultra (2026 H2 predicted) 400B FP8 = NVIDIA Rubin R200's 25 PF FP8 sparse (dense) × 6.25 = 156 PF FP8. Apple still 6× behind in single-chip performance, but with 384GB UMA + 1 TB/s bandwidth, it's a strong local LLM inference option.

Conclusion​

Vera Rubin is the culmination of 5 architectural innovations:

1. 6-chip CoWoS-L packaging (industry first)
2. 288GB HBM4 (3× B200 capacity)
3. 22 TB/s memory bandwidth (2.75× HBM3e)
4. 50 PFLOPS FP4 sparse (2.5× B300 Ultra)
5. ConnectX-9 28.8 TB/s (2× ConnectX-8)

For AI workloads, Vera Rubin is the next-generation foundation for trillion-parameter model training and Agentic AI inference.

💡 Disclaimer: All "predicted" and "rumored" data points are clearly marked and do not constitute investment advice.

IPO 关键数据​

财务数据（来自 S-1）​

营收增长​

三年营收增长 6.4 倍，是 AI 芯片行业增长最快的公司之一。

净亏损​

亏损率从 -150% 收窄到 -39%，2026 年预计接近盈亏平衡。

客户集中度​

G42 + OpenAI 占 45% 营收，客户集中度较高，但 OpenAI 合同大幅增长后这一比例将变化。

关键大单：OpenAI $10B 推理合同​

2025 年 12 月，Cerebras 宣布与 OpenAI 签订 $10B 推理算力长期合同（10 年期）：

这份合同让 Cerebras 的 2026 营收预测从 ~$700M 提升到 ~$1.2B。

客户列表​

旗舰客户​

科研 / 政府客户​

企业客户​

核心产品：WSE-3 (CS-3)​

未来产品：WSE-4 (CS-4, 推测)​

⚠️ WSE-4 未官方公布，以上为推测。

估值分析​

估值倍数​

按 2026 营收，估值倍数 18-21× SaaS 类似；按 2027 营收，9-10× 接近 NVIDIA 长期倍数。

与 NVIDIA 估值对比​

Cerebras 市销率高于 NVIDIA——市场对 Cerebras 增长预期较高。

投资亮点​

1. 晶圆级技术领先​

• 单芯片 125 PFLOPS BF16 = 5× H100 单卡（BF16 989 TFLOPS）
• 44 GB SRAM 远超 HBM：SRAM 比 HBM 快 1000×
• 21 PB/s 内存带宽：比 H100 HBM 6000×

2. 推理市场新机遇​

• OpenAI $10B 合同 = 10 年长期收入
• 超低延迟推理：vs GPU HBM 延迟，SRAM 快 1000×
• 机柜级集成：单系统可推理万亿参数模型

3. 软件生态完善​

• Cerebras Software Platform (CSoft)：基于 PyTorch
• JAX + Cerebras backend：Google 集成
• vLLM 0.7+ Cerebras backend（推测）
• HuggingFace 集成
• Triton + Cerebras backend
• OpenAI 兼容 API（Cerebras Inference）

投资风险​

IPO 后影响​

1. 算力 IPO 行业洗牌​

Cerebras 上市后，将是 NVIDIA 之外最大的纯 AI 芯片上市公司。

2. 国产晶圆级芯片​

中国国产晶圆级 AI 芯片进展：

• 壁仞科技 BR104：300 TFLOPS（FP16）
• 天数智芯 Iluvatar Bi-150：200 TFLOPS
• 摩尔线程 MTT S5000：250 TFLOPS

Cerebras 上市将刺激国产晶圆级 AI 芯片融资和上市。

详细产品页​

• Cerebras WSE-3 完整规格
• Cerebras WSE-4 推测规格
• Cerebras WSE-2（上一代）
• WSE 架构详解
• NVIDIA Groq 3 LPX（竞争对手）
• 未来路线图

总结​

Cerebras IPO 是 2026 年 AI 芯片行业最重大事件之一：

1. S-1 2026-04-17 提交，目标 2026-05 上市 Nasdaq: CBRS
2. 估值 $22-25B，2025 营收 $510M
3. OpenAI $10B 长期合同 = 10 年收入基础
4. 晶圆级技术领先（单芯片 125 PFLOPS）
5. 亏损率收窄（从 -150% 到 -39%）
6. WSE-4 2027 发布 = IPO 后首代产品

Cerebras 上市后，AI 算力市场将形成 NVIDIA + Cerebras 双寡头格局。

收购时间线​

收购金额细节：根据多方信源，NVIDIA 以"现金 + 股权"组合形式收购 Groq，对应估值约 $20B。Groq 创始团队（Jonathan Ross 等）部分留任，继续负责 LPU 产品线。

为什么 NVIDIA 要收购 Groq？​

NVIDIA 在 GPU 算力领域已经绝对领先（CUDA 生态 + Rubin 平台 + 90% 数据中心 AI 市场份额），但有一个明显短板：

• 超低延迟推理（TTFT < 50ms）
• Agentic AI（1000+ 调用/秒）
• Deterministic Latency（可预测的延迟）

这些场景下，传统 GPU 即使是 H100/Rubin R200，也受限于：

• HBM 访问延迟（~200ns vs SRAM 1ns）
• CUDA 调度不确定性
• 算子融合的复杂度

Groq LPU 完美补全了 NVIDIA 的能力栈。

Groq 3 LPX 机柜规格​

收购完成后，Groq 3 LPU 重命名为 NVIDIA Groq 3 LPX，作为 Vera Rubin 平台的 co-processor：

40 PB/s SRAM 带宽 ≈ 5,000× H100 HBM 带宽（H100 80GB HBM3 = 3.35 TB/s）。这是 Groq LPU 极致低延迟的核心秘密。

收购后的产品矩阵​

NVIDIA 现在提供全场景 AI 算力覆盖：

对 AI 行业的影响​

1. 超低延迟推理市场洗牌​

收购前，超低延迟推理市场有三家玩家：

• Groq（SRAM + 编译器）
• Cerebras（WSE 大晶圆 + 40+ GB SRAM）
• SambaNova（RDU 可重构数据流）

收购后：

• Groq LPX 归 NVIDIA（最大生态、最强客户）
• Cerebras WSE-4（2027）即将 IPO
• SambaNova SN50 独立运营

Cerebras 的 IPO 时机变得更加重要——需要在 NVIDIA 整合 Groq 之前抢占市场。

2. Agentic AI 加速爆发​

2026 年 Agentic AI 是 LLM 应用的下一个爆发点：

• 单次 Agent 调用：~500ms-2s
• 复杂任务：100+ 次连续调用
• 用户体验：< 200ms 响应

Groq 3 LPX 的 TTFT < 20ms 是 Agentic AI 的关键使能技术。

3. 客户迁移​

Groq 原本的客户：

• OpenAI：部分推理负载
• Anthropic：Claude 推理
• Meta：Llama 推理
• Mistral：推理

这些客户继续使用 LPX，但合同关系从 Groq Inc. 变为 NVIDIA Corp.。

LPX 的局限​

Groq 3 LPX 并非万能：

因此，LPX 不是替代 GPU，而是补充 GPU：

• 中小模型、低成本：GPU (L4 / T4)
• 大模型训练：GPU (H100 / B300)
• 大模型推理：GPU (H200 / B300)
• 超低延迟大模型推理：LPX

详细产品页​

• NVIDIA Groq 3 LPX 完整规格
• Groq LPU (v1, 收购前)
• LPU 架构详解
• NVIDIA Rubin R200
• Cerebras WSE-3（竞争对手）

总结​

NVIDIA 收购 Groq 是 2026 年 AI 芯片行业最重大的事件之一：

1. 补全 NVIDIA 算力版图——从"训练+推理"扩展到"训练+推理+超低延迟推理"
2. Groq 团队 + 客户全部并入 NVIDIA
3. GroqCloud API 继续运营（OpenAI 兼容）
4. Vera Rubin 平台成为全场景 AI 算力终极平台
5. AI 行业进入"机柜级"时代：GPU 机柜 + LPU 机柜协同

NVIDIA = GPU + LPU + 互联 + 软件 = 完整 AI 算力生态

核心规格​