kb体育春播桃李三千圃,是奉献;秋来硕果满神州,是传承。教书育人,是任何一个时代所赋予的责任与使命。如今,伴随着数字经济与智能化的不断推进,一场有关教育的数字化革命正在悄然而生。
观山海浩瀚,赴时代之约,见百年树人。上海交通大学作为我国历史最悠久的顶级学府之一,于百年前民族危难风雨如晦中诞生,于现如今储才兴邦薪火相传中闪耀。多年来,上海交通大学一直在推动教育数字化转型的征途上扮演着先行者的角色,上海交通大学“交我算”校级计算平台便在其“普惠+融合”的数字化建设理念下应运而生。
上海交通大学的“交我算”平台自2013年开始建设,经过多年发展,已建设成为国内高校领先的校级计算平台。“交我算”平台已累积服务全校900多个科研课题组和180余门本科及研究生课程,支撑400余篇含Science、Nature等的国际高水平论文,以及全校逾万人次的学生“云上实践”。
“原先三个月才能够完成的计算量,现依靠‘交我算’平台的超算集群仅需四天。”从三个月到四天,计算的提速,不仅大幅缩短用户的论文投稿周期,也大大降低科研人员的试错成本,这正是平台所带来的惊喜。用计算能力的加速度触摸教育行业的温度,上海交通大学在时代变革中完成了一场教育命题的数字化重塑。
上海交通大学高性能计算中心主任林新华在华为数据存储用户精英论坛上分享联创历程
“交我算”平台的内核,依托于高性能计算(超算)产业。作为IT产业皇冠上的明珠,高性能计算的发展离不开“算力”与“数据”的调配。算力作为动力,是驱动社会数字化转型的引擎;而数据作为基座,在每一次吐故纳新之中,是供给计算以强劲运转的燃料。现如今,随着数字经济的发展与挑战,数据和算力的关系正发生转变:
过去,是数据跟着算力跑。为了应对复杂科学和工程问题的快速数值求解,过去半世纪业界更多关注的是如何打造最强大的算力,而数据仅作为算力的配套设施来考虑。
如今,已演变成算力围着数据转。新兴应用的涌现、数据体量的膨胀和数据安全问题的凸显,让数据本身的价值愈发被广泛认可。融合AI、大数据等技术,以数据为中心,多元算力按需加持,传统超算已逐步演变成数据密集型超算,多种异构算力紧密围绕在同一个数据存储周围。
落其实者思其树,饮其流者怀其源。上海交通大学正是顺应从“以计算为中心”到“以数据为中心”的趋势演变,领跑业界建设现代高校数据密集型超算平台。
华为存储,一直是超算产业的坚定推动者和实践者。自2019年起,上海交通大学与华为存储展开深度合作,共同打造“交我算”数据密集型超算平台。在这场解锁教育数字化转型的鸿蒙初辟中,双方洞察了平台建设中的五大挑战:
据统计,“交我算”平台总数据规模增长速率达到7PB/年。数据涵盖学校本部和医学院及附属医院的海量科研数据,其中超40%数据来自生物医疗领域,如生物信息、医学影像,这些数据意义重大、不容有失。如何用一套数据基础设施容纳下如此庞大的数据量,是平台建设的首要难题。
在如此大的数据量下,用户需要运行大量高吞吐、百万级小文件的作业。传统的机械盘存储面对此类高性能计算应用场景尤显吃力,采用全闪存介质提升文件系统性能刻不容缓。
“交我算”平台提供多种异构算力,拥有ARM集群、X86集群以及AI集群等。在众多集群中,需要做到全数据流动、数据融合,为用户提供最大便利、释放算力和数据的最大价值。
广大师生手握科研成果,为了更好地管理和分享自己的科研数据,使用S3(Simple Storage Server)标准访问接口是更方便快捷的途径。业界主流实现S3的两种方式kb体育,即通过硬件(存储系统内置)或通过软件(使用自建Lustre存储+协议翻译),关键瓶颈是协议的访问性能。
数据量的膨胀带来了非常高昂的存储成本,但据调研,“交我算”平台用户有近50%的数据在短期内不会再被访问,但又必须长期保留供后续使用,尤其是科研团队的实验结果数据。因此,为了节省开销,将不常用的冷数据及时存放在更为经济的冷存储上,是非常必要的。
华为存储凭借其长期在超算领域里的技术与应用创新积累,推出OceanStor Pacific分布式存储产品作为“交我算”平台的统一数据基座,支撑起全校多种异构算力平台。华为OceanStor Pacific分布式存储发挥了如下优势,逐一破除数据存储多元诉求的困局:
得益于华为OceanStor Pacific分布式存储出色的全对称分布式架构,容量与性能线性增长,帮助“交我算”平台在2019年从初始的2PB容量、6GB/s带宽扩充至10PB容量、30GB/s带宽,又在2020年扩容至20PB容量、60GB/s带宽,并计划今年将扩容至40GB容量、120GB/s带宽。
此外,华为OceanStor Pacific分布式存储拥有5U 120盘位的超高密设计,领先业界20%,结合超大比例EC数据冗余保护算法,在满足高可靠性的同时将硬盘空间利用率提升至91.6%。
华为OceanStor Pacific分布式存储采用OceanFS新一代并行文件系统,结合独特的大小I/O自适应数据流技术,无论在混合客户端读写、文件创建的带宽性能上,还是在混合极限读写的IOPS性能上,均遥遥领先于自建开源Lustre系统。
在S3协议表现上,OceanStor Pacific对象存储支持S3接口原生语义,在协议效率上是自建Lustre系统的4倍以上。不仅如此,在面向海量小文件对象场景,华为OceanStor Pacific能保证在单桶千亿个对象下性能稳定在100万TPS,澎湃的性能可以大幅提升平台用户的计算处理效率。
华为OceanStor Pacific分布式存储采用SmartTier智能分级存储技术,对域内热、温、冷数据进行统一管理,自动识别并判断访问频次,将其分级放入SSD、HDD/SSD混合、HDD的存储中。数据能够在热、温、冷层系统间自动迁移,无需管理员手动干预,灵活有效地管理数据全生命周期。
凡是过往,皆为序章,行而不辍,未来可期。上海交通大学“交我算”平台率先构建统一数据基座的数据密集型超算平台,为高校数字化建设领域“政产学研用”协同创新树立了榜样。
在下一个阶段,上海交通大学将继续携手华为存储,依托双方沉淀多年的技术基础与超算产业理解,在极致容量的灵活扩展性、跨校区跨地域资源的共享协同性和隐私计算等方面展开新的合作与探索,共同应对数据存储和应用的转变,点燃数据密集型超算智慧转型新的火种,谱写教育数字化转型发展新的篇章。返回搜狐,查看更多