生态伙伴实测浪潮NF5488A5，AI训练推理性能大幅提升

北京2020年12月23日近日，在GTCChina元脑生态技术论坛上，中科极限元、趋动科技、睿沿科技等元脑生态伙伴分享了多个场景下浪潮AI服务器NF5488A5的实测数据，结果表明浪潮NF5488A5大幅提升了智能语音、图像识别等AI模型的训练和推理性能，促进了产业AI解决方案的开发与应用。

NF5488A5是浪潮自主研发的新一代AI服务器，在4U空间内支持8颗第三代NVLink全互联的A100芯片，可以提供超过5PetaFLOPS的AI计算性能和高速带宽，为各类AI应用场景提供强大的计算力支撑。NF5488A5多次打破MLPerf测试榜单的记录，针对ImageNet的ResNet50基准测试表明，NF5488A5完成训练的时间只需要33.37分钟，单机性能位居第一；推理性能高达每秒54.9万张图片，是去年推理榜单中表现最好的服务器性能的3倍。

在本次GTC元脑生态技术论坛上，生态伙伴们分享了与浪潮的合作方案，并公布了在NF5488A5上的性能实测数据。这些方案广泛应用于教育、交通、呼叫中心、智能硬件等多个领域，同时借助NF5488A5高性能、高带宽、易部署的特点，极大地促进了智能语音模型的训练和线上推理。测试数据表明，在相同的准确性下，与原有系统相比，NF5488A5将模型训练速度提升了50%，单机最大推理路数提升了88%，推理延迟提升了65%。

趋动科技与浪潮联合开发了业内领先的一体化GPU资源池化解决方案。本次测试采用TensorFlow框架的Benchmark，测试小模型推理、大模型训练等多种AI应用场景，并验证了趋动科技OrionXAI加速器资源池化方案对浪潮NF5488A5的兼容性和性能。结果表明，NF5488A5服务器性能卓越，部署资源池化方案后，仅有小于1%的本机性能损耗，对比以往服务器的GPU性能数据也提高近50%。

睿沿科技推出的高山雨燕工业视觉平台是为工业生产场景构建的智能多业务管理安全生产管理平台，可实现远程巡检、作业安全监管、区域安防等功能。该平台在计算层采用了浪潮NF5488A5进行训练和推理加速。实测结果显示，在图片视频分辨率相同的情况下，模型原来的训练时间为140分钟，使用NF5488A5之后，训练时间可缩短到105分钟，速度提升25%。单机最大推理FPS（每秒传输帧数）由20800提高到28000，提升35%。

以上实测数据表明，浪潮NF5488A5可广泛应用于典型的AI应用场景，如图像视频、语音识别、金融分析、智能客服等，有助于AI用户高效地构建AI基础设施和开发环境，缩短开发周期，显著提升AI开发和应用效率。浪潮是全球领先的AI计算领导厂商，其AI服务器在中国的市场份额已连续三年保持在50%以上。面对产业AI化的趋势，浪潮提出的元脑生态将聚合左右手伙伴、浪潮AI资源，以更好的产品技术能力和整体方案实施能力助力更多用户实现智能化转型和升级。在元脑生态中，浪潮将共享AI计算平台、AI资源平台和AI算法平台。目前，元脑生态已经吸引了200多个左右手伙伴参与，孵化了6大行业100多个解决方案。