浪潮AI效劳器再创MLPerf V2.0锻炼评测最佳成果

6月30日，全球权威AI基准评测MLPerf最新V2.0锻炼评测成果榜单发布。浪潮AI效劳器表示优秀，继两月前在MLPerfV2.0数据中心推理评测中斩获全部冠军后，本次又在MLPerfV2.0单机锻炼性能继续坚持抢先。

本次MLPerf评测吸收了包含谷歌、NVIDIA、浪潮信息、百度、Intel-Habana、Graphcore等全球21家厂商和研讨机构参与，共有264项评测成果提交，是上一轮基准评测的1.5倍。评测任务涵盖了当下主流AI场景，包含自然言语处置(BERT)、智能引荐(DLRM)、图像分类(ResNet)、医学影像分割(3D U-Net)、轻量级目的物体检测(RetinaNet)、重量级目的物体检测(Mask R-CNN)、语音辨认(RNN-T)以及强化学习(Minigo)8类AI任务。

在单机锻炼评测的固定任务中，浪潮信息以高端AI效劳器斩获自然言语了解(BERT)、智能引荐(DLRM)、语音辨认(RNN-T)三项性能成果第一，位列单机冠军榜首。在本次配置8颗NVIDIA A100 Tensor Core GPU的主流高端AI效劳器中，浪潮AI效劳器斩获5项任务最佳成果(BERT、DLRM、RNN-T、ResNet、MaskR-CNN)。

超越摩尔定律，持续领跑AI计算性能提升

MLPerfTM评测组织机构MLCommons 执行主任David Kanter 在此次成果发布会上表示，自初次发布评测基准以来，MLPerf性能提升速度远超越摩尔定律。思索到业界对计算和AI的需求正以惊人的速度增长，这让人十分振奋。

自参与MLPerfAI性能评测以来，浪潮AI效劳器经过软硬件全面优化，持续完成AI性能突破。相较于2018年12月MLPerf 初始版本V0.5的典型配置8卡机型的性能数据，浪潮AI效劳器的性能显现出大幅提升，提升比例最高达789%，2.35倍于摩尔定律增速。

浪潮AI效劳器在MLPerf基准评测中的杰出表示，得益于浪潮信息在AI计算系统上优秀的设计创新才干和全栈优化才干。浪潮AI效劳器针对AI锻炼中常见的密集I/O传输瓶颈，经过PCIe retimer-free 设计完成了CPU-GPU间通道免中继高速互联，大幅降低通讯延迟;并针对高负载多GPU协同任务调度，以及NUMA节点与GPU之间的数据传输性能中止了深度优化，确保锻炼任务中的数据I/O通路处于最高性能状态;在散热层面，率先完成4U空间内部署8颗500W的高端NVIDIA A100 TensorCoreGPU，并支持风冷、液冷两种散热方式。同时，在模型锻炼全流程中，浪潮AI效劳器持续经过优化预锻炼数据处置、GPU之间高速通讯、GPU中心加速等关键模块，最大化提升了AI模型的锻炼性能。

大幅提升Transformer锻炼性能

当前，基于Transformer神经网络的预锻炼大模型正引领新一代AI算法展开，并逐步从自然言语处置走向计算机视觉、多模态等范畴。MLPerfTM评测任务中的BERT模型即是基于Transformer架构的模型。Transformer简约、可堆叠的架构使得开发极大参数量、基于极大数据集的预锻炼大模型成为可能，这带来了模型算法才干的大幅提升，但同时也对AI计算系统的处置性能、通讯互联、I/O性能、并行扩展、拓扑途径及散热才干提出了更高的请求。

在本次BERT评测任务中，浪潮AI效劳器经过优化数据预处置、GPU之间密集参数通讯、超参数自动寻劣等，进一步提升了BERT锻炼性能，在15.869分钟内即在Wikipedia数据集的2850176条数据上完成了3.3亿参数的BERT模型锻炼，相较于V0.7版本的最佳成果49.01分钟的性能提升抵达309%。至此，浪潮AI效劳器曾经连续三次取得MLPerfTM锻炼BERT任务性能冠军。

浪潮信息在MLPerf V2.0锻炼评测中取得佳绩的2款AI效劳器分别是NF5488A5及NF5688M6。NF5488A5是全球首批上市的NVIDIA A100 Tensor Core GPU效劳器，在4U空间支持8颗由NVIDIA NVLink 互联的NVIDIA A100 Tensor Core GPU和2颗AMD Milan CPU，同时支持液冷微风冷散热技术，累计斩获40项 MLPerf 冠军。NF5688M6是面向大范围数据中心优化设计的具备极致扩展才干的AI效劳器，支持8颗第三代 NVLink 互联的NVIDIA A100 Tensor Core GPU 和两颗Intel Ice Lake CPU，支持多达13张PCIe Gen4 的IO扩展才干，累计斩获25项 MLPerf 冠军。

附：MLPerf简介

MLPerf 是影响力最广的国际AI性能基准评测，由图灵奖得主大卫帕特森(David Patterson)分离顶尖学术机构发起成立。2020年，非盈利性机器学习开放组织MLCommons基于MLPerf 基准测试成立，其成员包含Google、Facebook、NVIDIA、英特尔、浪潮信息、哈佛大学、斯坦福大学、加州大学伯克利分校等50余家全球AI领军企业及顶尖学术机构，努力于推进机器学习和人工智能规范及权衡指标。目前，MLCommons每年组织2次MLPerf AI锻炼性能测试和2次MLPerfAI推理性能测试，以便快速跟进疾速变更的计算需求和计算性能提升，为用户权衡设备性能提供权威有效的数据指导。