跳到主要内容

AWS Trainium (第一代)

产品概述​

AWS Trainium 是 Amazon Annapurna Labs 设计的 AI 训练 ASIC,2021 年推出。第一代 通过 Trn1 实例提供,16 颗 Trainium1 芯片组成一个实例。每个芯片含 32 GB HBM,191 TFLOPS FP8 算力。Trn1 32xlarge 集成了 512 NeuronCore v2 核心。

核心规格​

项目参数
发布2020-12-01
架构Trainium(第一代)
NeuronCore32 颗/芯片(NeuronCore-v2)
显存32 GB HBM
显存带宽0.8 TB/s
FP8 算力191 TFLOPS
BF16/FP16191 TFLOPS
FP3248 TFLOPS
TDP350 W
NeuronLinkNeuronLink-v2
形式Trn1 实例(AWS)

厂商信息​

项目内容
制造商Amazon (Annapurna Labs)
官网https://aws.amazon.com/machine-learning/trainium/
产品页https://aws.amazon.com/ec2/instance-types/trn1/
SDKhttps://awsdocs-neuron.readthedocs-hosted.com/

关键特性​

  • AWS Neuron SDK:PyTorch、JAX 集成
  • EFA 互联:低延迟集群网络
  • 仅限 AWS EC2

适用场景​

  • LLM 训练(Trn1 32xlarge)
  • 推荐系统
  • 大规模分布式训练

相关产品对比​