Skip to main content

Qualcomm Cloud AI 100 (AIC100)

产品概述​

Qualcomm Cloud AI 100（开发代号 AIC100）是 Qualcomm 面向数据中心 AI 推理的 ASIC，定位为 NVIDIA T4/L4 的低功耗替代品。已商用部署于 Hugging Face Inference API、Oracle Cloud、DaVinci 等。

基于 Hexagon NPU IP，400 TOPS INT8（每张卡），典型功耗 75W（性能/瓦特优势明显）。

核心规格​

项目参数
架构Qualcomm AI Engine（基于 Hexagon）
制程TSMC 7nm
INT8 算力400 TOPS
FP16100 TFLOPS（官方）
INT4800 TOPS（稀疏化）
片上 SRAM16 MB
内存16/32/64 GB LPDDR4X
内存带宽51.2 GB/s（16GB）/ 102.4 GB/s（64GB）
TDP75 W（标准）/ 150 W（高性能模式）
形式PCIe Gen4 x16 双槽卡 / M.2 / HHHL
互联PCIe Gen4

产品线​

型号INT8内存TDP形态
AI 100 Standard200 TOPS16 GB75 WPCIe / M.2
AI 100 Pro400 TOPS32 GB75 WPCIe
AI 100 Ultra400 TOPS64 GB150 WPCIe 双槽

性能/瓦特优势​

对比性能/瓦特
Qualcomm AI 100 Ultra2.67 TOPS/W
NVIDIA L4~2.5 TOPS/W
NVIDIA T42.5 TOPS/W
NVIDIA A100 80GB1.0 TOPS/W
优势比 A100 高 ~2.7×

75W 标准功耗 = 可部署于标准 1U 服务器，单机 8-16 卡。

软件生态​

编译器与运行时​

  • Qualcomm AI Engine Direct SDK（C/C++ API）
  • Qualcomm Neural Processing SDK（Python）
  • GLOW（基于 LLVM 的 AI 编译器，原作者：Facebook）

框架支持​

  • TensorFlow / PyTorch / ONNX（通过量化转换）
  • Apache TVM（自动量化/编译）

模型支持​

  • 主流 CV 模型（ResNet、EfficientNet、YOLO）
  • 主流 NLP 模型（BERT、RoBERTa）
  • 主流 LLM（Llama 2、Mistral、Falcon 量化版）

部署案例​

  • Hugging Face Inference Endpoints — 部分端点用 AI 100 跑 LLM 推理
  • Oracle Cloud Infrastructure (OCI) — 提供 AI 100 裸金属实例
  • DaVinci — AI 100 集群服务
  • Cirrascale — 云端 AI 100 租赁

厂商信息​

项目内容
厂商Qualcomm Technologies, Inc.
产品页https://www.qualcomm.com/products/technology/processors/cloud-ai-100
售价$1,500-$3,500（取决于型号）
目标市场数据中心推理、边缘服务器、超大规模云

适用场景​

  • ✅ 低功耗数据中心推理（推理/瓦特 SOTA）
  • ✅ 视觉 AI（CV 推理）
  • ✅ 语音 AI（NLP 推理）
  • ✅ 边缘服务器（75W 单卡）
  • ⚠️ LLM 推理（生态尚可，但性能落后 NVIDIA H100/L40S）
  • ❌ 大模型训练（不支持）

相关卡​