英特尔最近宣布Habana Gaudi深度学习处理器在MLPerf行业测试优于英伟达A100提交的AI5月在英特尔的训练时间突出On产业创新峰会发布Gaudi视觉上处理器（ResNet-50）和语言（BERT）训练时间在模型上的优势。

芯片采购网专注于整合国内外授权IC代理商现货资源，芯片库存实时查询，行业价格合理，采购方便IC芯片，国内专业芯片采购平台。

英特尔执行副总裁、数据中心和人工智能部总经理 Sandra Rivera很高兴能和大家分享Gaudi 2在MLPerf我也为英特尔团队在产品发布仅一个月的成绩感到自豪。我们相信，在视觉和语言模型中提供领先的性能可以给客户带来价值，有助于加速他们AI深入学习解决方案。”

借助Habana Labs的Gaudi该平台，英特尔数据中心团队可以专注于深度学习处理器技术，使数据科学家和机器学习工程师能够有效地进行模型培训，实现新模型构建或现有模型迁移，提高工作效率，降低运营成本。

Habana Gaudi2处理器缩短训练时间（TTT）与第一代相比Gaudi有了显著的提升。Habana Labs2022年5月提交的Gaudi2处理器在视觉和语言模型训练时间上已经超过了英伟达A100-80G的MLPerf测试结果。其中，针对视觉模型ResNet-50，Gaudi2处理器的TTT结果与英伟达相比A100-80GB与戴尔提交的相比，缩短了36%。ResNet-50和BERT模型，使用8个加速器A100-40GB服务器，Gaudi2的TTT测试结果缩短了45%。

MLCommons2022年6月发布的数据。https://mlcommons.org/en/training-normal-20/

与第一代相比Gaudi处理器，Gaudi2在ResNet-训练吞吐量增加了50模型的3倍，BERT训练模型的吞吐量增加了4.7倍。这是因为工艺从16纳米到7纳米，Tensor处理器内核数量增加了三倍GEMM高带宽存储容量的发动机计算能力和包装增加了三倍，SRAM带宽增加，容量增加一倍。训练视觉处理模型，Gaudi2集成媒体处理引擎的处理器可以独立完成AI对压缩图像进行数据增强和预处理。

两代Gaudi在没有特殊软件操作的情况下，处理器的性能是通过的Habana实现客户开箱即用的商业软件栈。

在商用软件提供的开箱即用性能中Habana 8个GPU服务器与HLS-Gaudi2参考服务器上的测试比较。其中，训练吞吐量来自NGC和Habana公共库的TensorFlow docker，在混合精度训练模式下测量双方推荐的最佳性能参数。值得注意的是，吞吐量是影响最终训练时间收敛的关键因素。

图形测试配置详见说明部分。

图形测试配置见说明部分。

除了Gaudi2在MLPerf测试中的优异表现，第一代Gaudi128加速器和256加速器RBelFuse代理esNet基准测试显示出强大的性能和令人印象深刻的近线性扩展，支持客户高效的系统扩展。

Habana Labs首席运营官Eitan Medina说：我们最新的MLPerf测试结果证明Gaudi2在训练性能方面具有显著优势。我们将继续深入学习训练结构和软件创新，创造最具成本效益的AI训练解决方案。

关于MLPerf基准测试：MLPerf社区旨在设计公平实用的基准测试，公平测量机器学习解决方案的准确性、速度和效率。该社区来自学术界、研究实验室和行业AI领导者建立了基准，制定了一套严格的规则，以确保所有参与者都能公平公正地进行性能比较。基于一套明确的规则，能够公平比较端到端任务，目前MLPerf是AI行业唯一可靠的基准测试。此外，MLPerf同行对基准测试结果进行为期一个月的评估，这将进一步验证报告结果。

说明：

ResNet-50性能比较中使用的测试配置

A100-80GB：Habana于2022年4月在Azure实例Standard_ND96amsr_A100_v4上测量，使用一个A100-80GB，其中应用了NGC的TF docker 22.03-tf2-py3（optimizer=sgd, BS=256）

A100-40GB：Habana于2022年4月在DGX-A测量100，使用一个A100-40GB，其中应用了NGC的TF docker 22.03-tf2-py3（optimizer=sgd, BS=256）

V100-32GB?：Habana于2022年4月在p3dn.24xlarge测量，使用一个V100-32GB，其中应用了NGC的TF docker 22.03-tf2-py3（optimizer=sgd, BS=256）

Gaudi2：Habana于2022年5月在Gaudi2-HLS测量系统，使用一个Gaudi二、其中应用SynapseAI TF docker 1.5.0（BS=256）

结果可能会有所不同。

BERT性能比较中使用的测试配置

A100-80GB：Habana于2022年4月在Azure实例Standard_ND96amsr_A100_v4.测试，使用一个A100-80GB，包含NGC的TF docker 22.03-tf2-py3（Phase-1：Seq len=128，BS=312，accu steps=256；Phase-2：seq len=512，BS=40，accu steps=768）

A100-40GB：Habana于2022年4月在DGX-A100测试，使用一个A100-40GB，包含NGC的TF docker 22.03-tf2-py3（Phase-1：Seq len=128，BS=64，accu steps=1024；Phase-2：seq len=512，BS=16，accu steps=2048）

V100-32GB：Habana于2022年4月在上p3dn.24xlarge测试，使用一个V100-32GB，包含NGC的TF docker 21.12-tf2-py3（Phase-1：Seq len=128，BS=64，accu steps=1024；Phase-2：seq len=512，BS=8，accu steps=4096）

Gaudi2：Habana于2022年5月在上Gaudi2-HLS测试，使用一个Gaudi2，包含SynapseAI TF docker 1.5.0（Phase-1：Seq len=128，BS=64，accu steps=1024；Phase-2：seq len=512，BS=16，accu steps=2048）

结果可能会有所不同。

Habana Labs、Habana、Habana标识、Gaudi和SynapseAI是Habana Labs的商标。