以浪潮分布式并行文件存储筑基,中国科大为科研平台注入新动力

伴随爱因斯坦相对论体系的建立而出现的现代科学,开辟了一段全新的历史改变了人类的生产生活和思维方式,对人类社会的前进进程造成了深远的、改革性的影响。目前科技创新依然是影响和改变经济、社会的首要因素。不断向科学技术广度和深度进军,探索当代世界科技进展的最前沿,推动关乎人类生存与发展的技术进步是所有科研机构的基本目标,中国科学技术大学(以下简称中国科大)致力于科学前沿探索和高新技术创新,为了更好支撑生命科学、天文、材料、人工智能及其它领域研究,校网络信息中心负责的学校计算平台,以计算和存储为平台融合新技术应用,促进重大科研创新平台建设,提高创新效能,加速科技创新。

中国科大是中国科学院所属的以前沿科学和高新技术为主、兼有医药和特色文科的全国重要的大学,始建于1958年,培育新兴、边缘、交叉学科的尖端科技人才,其中包括一批国际知名的科学家,在单分子科学、高温超导、纳米科学、地球环境、生命与健康等前沿领域取得了世界领先的科研成果。

近年来生命科学、材料科学、力学、人工智能、天文等学科的项目随着新技术和新仪器的应用,取得了科研成果的同时,也对科研创新平台在计算及存储性能和容量上提出了新的挑战,目前的计算中心整体资源使用率接近饱和,难以承受生物工程、生态环境、新材料、天文观测等科研项目,科研实验的数据采集要求高,周期长、采集复杂、环境要求较高,并且科研项目的研究员来自不同高校等科研单位;因此为了规定地按时间节点推进科研项目,采集分析实验数据,数据安全可靠必须得到保障,不容丝毫的遗漏。比如生命科学领域的研究像冷冻电子显微镜设备,采用从样品冷冻、低剂量电子层间扫描到三维重构的技术,从事生命科学的基础研究,在其整个流程中,图像处理、三维重构是非常关键的步骤,对计算和存储的需求极高,平均每分钟就能产生5-6张ImageStack图像数据,按照24小时不间断的工作计算,每日将产生多达数TB的数据,每年可达数PB,而采集的海量文件数据需要进行高并发的模型重构,处理后的数据及时归档存储,一方面释放性能资源的占用,一方面更好的保存宝贵的原始科研数据以备后续利用,全校多个领域的不断新增的科研项目的需求,对计算存储平台整体方案的性能、容量、安全稳定都提出各种新的挑战。

以百万级IOPS、百GB带宽为基础为科研平台注入新的活力 聚焦前沿科学研究,为尖端科技突破奋力拼搏,注重学科交叉融合,努力实现创新和科技成果转化的重要突破,为了保障不同学科课题项目的有序、高效开展,中国科大网络信息中心充分分析科研项目对计算中心的需求,统筹全局,以计算+存储为关键的整体方案升级集群系统,配置了25个浪潮GPU服务器节点、一套浪潮分布式并行文件存储AS13000系列,为科研平台提供了计算及数据基础设施保障。

为了适应不同学科领域项目在研究不同时期数据对存储性能、容量的诉求特点,数据层经过针对浪潮分布式并行文件存储AS13000系列构建的数据分层存储方案,通过配置NVMeSSD高性能硬盘的全闪存节点构建了高速性能层,通过30个4U60盘位的高密节点,构建了11PB可用空间的容量层,集群中所有分布式节点参与并发读写,基于聚合的小文件优化技术,降低了数据写入硬盘次数,提升了小文件读写性能,并实现了集群聚合读带宽160GB/s以上,写带宽100GB/s以上,同时随机读IOPS达205万,为科研项目的进展提供了有力保障。

存储集群采用同一目录命名空间,可自动根据数据访问在高速存储及普通容量层中迁移,以确保发挥更大性能。此外,浪潮分布式并行文件存储AS13000可以提供文件、对象、块、大数据等多种存储服务,通过灵活的存储协议选择以及多种存储协议之间的互通性满足多领域科研项目课题的负载多样性。

数据存储集群采用高冗余模式,一旦某节点出现故障,便可自动切换到备用节点上,确保科研平台数据不会丢失,以保障项目课题的持续运行。此外,中国科大还考虑到科研平台未来研究方向的增多及规模的增大,浪潮分布式并行文件存储AS13000可以在线扩展新节点,系统的性能和容量会随着节点数量的增加线性增长,以保护科研项目的持续性研究。

2003年,中国科大校级计算平台应运而生,是学校六大公共实验中心之一,也是国内高校最早的平台之一。目前已投入设备采购费用超过1.2亿元,共有1300台服务器在使用,提供总双精度浮点5409万亿次/秒的计算能力,利用率超过80%。在2022年,这个平台为前沿领域的科技创新提供数据与计算平台,支持发表SCI论文464篇(其中包括Nature系列、Science系列、PRL、JACS、Cell等顶级期刊论文38篇),有效支撑了用户的显著项目成果。

科技创新作为引领发展的第一动力,深刻影响着人类的工作、生产、生活各个方面,从而提升生命健康水平,推动经济繁荣、造福人类。中国科大是最为具有较强知识创新和技术创新能力的教育与科研基地之一,其致力于推动中国科技文化的发展,通过对新技术和新设备的应用,为每一位师生提供高质量的计算和数据资源,为加速前沿科技研究打下坚实的基础,帮助全人类更好地认识自然、理解自然、改造自然,推动人类社会和文明的不断进步。