打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
计算机世界:换一种角度看中国HPC迈入普及时代

更多的厂商参与,更广泛的应用支持和教育培训,随着高性能计算市场规模的扩大,如今,高性能计算已经不再是那么高高在上了。昔日王谢堂前燕,飞入寻常百姓家。

普及版,这是一个用来描述将专业性很强的细分领域下沉,提供更平易近人产品服务的词汇。比如说,与《计算机世界》同属计世传媒集团的兄弟媒体《电脑爱好者》,就曾经出过一套姊妹版刊物《电脑爱好者普及版》,面向的是对电脑操作、软硬件感兴趣而又暂时不具备专业知识的入门人群。再比如说,某些银行会推出信用卡普及版,尽管这个为了推广信用卡知识而发行的卡片信用额度实在是不高,但是对于从未接触过信用卡的人来说,却不失为一个好的开端。

高性能计算(HPC,High Performance Computing),这个曾经被看做专业性极强的领域,如今也正在逐渐以更加亲民的姿态走向普及。得益于技术的进步、厂商的参与热情提高,应用领域的拓展以及人才培养机制的成熟等诸多方面的因素,中国HPC正在迎来普及时代。

TOP100,HPC普及的风向标

“今年的HPC TOP100榜单中有超过一半的HPC系统应用在互联网领域,这是一个很大的趋势。”中国科学院计算所计算机体系结构国家重点实验室研究员、中国计算机学会高性能计算专业委员会秘书长、中国软件行业协会常务理事张云泉日前在HPC TOP100榜单的发布现场——2014年全国高性能计算学术年会(HPC China 2014)上表示。2014年全国高性能计算学术年会由中国计算机学会主办,中国计算机学会高性能计算专业委员会、中山大学共同承办,于11月6日至8日在广州举行。

HPC TOP100(中国高性能计算机性能TOP100排行榜),是指依据Linpack测试性能进行排序的中国最快的100台计算机系统的榜单列表,是衡量中国高性能计算机系统及应用发展的重要参考依据。其由中国软件行业协会数学软件分会发起并领衔发布。至今,这一榜单已经拥有超过十年的历史。然而,就是这样一个拥有成熟系统运作的老牌排行榜,却在2014年遭遇到了新问题,甚至这一问题还引起了评审们的争论。

新的问题主要是来自互联网领域。近两年来,有越来越多的HPC系统开始部署在互联网应用中,根据记者的统计,2011年HPC TOP100中所纳入的互联网高性能计算系统只占整个榜单的21%,而到2012年迅速增加到35%,2013年这一比例被扩大至54%,今年则超过了60%。其中,榜单上绝大部分2014年的新增系统都部署在了互联网公司,明确部署在百度、阿里巴巴和腾讯的系统就占据了五分之一。按照张云泉的话说,这对于只有100席位置的HPC TOP100“造成了很大冲击”,很多传统计算的项目因此而名落孙山。

互联网应用为榜单带来的变化还引发了不大不小的讨论。其中,有业界专家明确表示,HPC TOP100应该只接收传统科学计算领域的系统,放弃互联网、大数据方面的应用。张云泉认为,互联网应用的出现实际上是对HPC的一种普及:“我们要坚持开放,坚持反映事实。TOP100需要反映互联网应用的趋势。”很显然,在传统科学计算以外,互联网为高性能计算的疯狂生长提供了肥沃的土壤。按照HPC TOP100的发展趋势,未来互联网行业的高性能计算能力很有可能与传统科学计算领域齐头并进。

高性能计算普及的另外一个例证来自于HPC TOP100的应用领域统计。在2014年的TOP100排行榜上,数据挖掘、视频分析、事务处理等新兴应用占据了75%的应用领域,而科学计算、工业仿真等传统应用只占25%。这意味着,高性能计算已经开始走出了实验室,通过更多的应用走入普通人的生活和工作。

中国厂商的异军突起是HPC TOP100在2014年的另一大变化。根据统计,在今年100套上榜的系统中,中国厂商占据了85席。而在2013年,国内与国外厂商的比例还是分庭抗礼的态势:52%和48%。其中,通过收购IBM的x86业务,联想提高了其所拥有的系统数量,和“中国HPC第一股”曙光以32套系统并列第一,浪潮则以21套系统位列第三。其中必须要提到的是,今年华为首次登上了这一榜单。

实际上,一直以来,高性能计算在我国都是陷于“叫好不叫座”的困境之中,虽然其发展和战略意义非常明显,但是由于应用面较窄,市场机会却不容乐观。多年来业内基本已经达成的共识是:做高性能计算不赚钱。但是,随着应用领域的拓展,高性能计算的部署数量正在飞速提升,除了上文提到的互联网行业以及制造、气象和生命科学等传统领域以外,体育、娱乐、汽车甚至游戏等产业都已经开始部署HPC系统。分析调研机构IDC预计,全球高性能计算服务器市场在2013年到2017年之间将呈现复合年增长率(CAGR)为7.3%的健康增长,到2017年收入预计将突破140亿美元。众所周知,华为近几年在企业级市场上升势头明显,本次华为在HPC TOP100中上榜,似乎已经预示了这一市场蕴藏的商业机会以及华为的决心。

教育普及才是真的普及

与2014年全国高性能计算学术年会同期,11月5日至8日,由中国计算机学会高性能计算专业委员会联合英特尔(中国)有限公司共同主办,北京并行科技有限公司承办的“2014全国并行应用挑战赛(PAC2014,Parallel Application Challenge 2014)在广州拉开帷幕。这场比赛,真实反映了国内对于高性能计算的热情程度。据悉,本次比赛共吸引到了85支队伍报名参加,相较去年提高了一倍。“一些普通高校都派了很多队员参加这次比赛,包括我们过去认为不可能有并行计算课程的学校都组织了队伍。”张云泉表示。由于参赛队伍众多,PAC2014还特意设立了多轮循环的赛区制以及分赛区培训,以求比赛能够达到理想效果。

本次比赛采用了国际知名的分子模拟软件Gromacs,在保证正确性和满足给定误差精度要求的前提下,在组委会提供的计算设备(天河架构计算节点以及英特尔至强、至强融合处理器)上,对给定的计算负载,参赛队可以采用已规定限制之外的任意方式对Gromacs源代码和运行方式进行优化,获得最高性能(最短墙钟时间)的团队胜出,在此成绩基础上各参赛队参加现场答辩,由专家评委现场评审验证结果。最终,中国科学技术大学计算机科学与技术学院、国防科大计算机学院软件所0队分别摘得了挑战赛的年度并行优化总冠军以及年度最佳应用总冠军。

张云泉表示,目前这一比赛在题目设置上比较关注与传统科学计算,不过未来则会更多与互联网等新兴应用贴合,“鼓励大家在新的行业、新的领域继续做工作,以推广普及”。

值得一提的是,PAC2014不仅是博士和硕士研究生的展示舞台,本科生也在参与其中。实际上,本次夺冠的队伍之一中国科学技术大学计算机科学与技术学院,就是一支“本硕博”的“混编军”。中国科学技术大学教授、中国科学技术大学计算机系统结构实验室主任安虹认为,PAC2014的最大价值在于其通过竞赛提升了学生学习计算机系统结构的兴趣,摆脱“惟分数至上”的思维方式,使得他们能够自发地进行多维度的学习。

“PAC2014符合中国国情,是一种以赛促学的竞技。在比赛过程中,我们完成了很多实实在在的培训,这比比赛名次更重要。”安虹坦诚地表示,“同时,主办方提供了计算资源,降低了队伍的参赛成本。我觉得这个比赛是非常务实的,是以教育为先导作为指导思想的比赛。”

不过,从另一方面来看,尽管PAC2014的参赛队伍得以扩充,但从实际表现来看,不同高校和队伍之间却存在着比较大的差距。“有的连作品也完不成,有的却达到了世界级的水平。”张云泉评价说。有热情无经验,这成为中国高性能计算领域在普及过程中必须要跨过的一道门槛。安虹表示,高校在体系改革中,可以引入并行计算的相关课程,以提高参与度和整体水平。她认为,相对于外部的培训与知识分享,学校内部力量更有益于推动高性能计算人才的储备和提升。

“既要继续冲击前端,又要夯实基础。”张云泉对此表示。他透露,高性能计算专业委员会已经有计划举行HPC的普及活动,面向全国高校进行基础知识讲座。据悉,在高性能计算专业委员会近期所新吸纳的15名委员中,就有不少委员来自西部地区,以及非985、211高校。张云泉表示,这样做有利于高性能计算知识的推广,能够为更多人提供接触高性能计算的机会。

英特尔中国区大学合作经理秦征表示,英特尔一直致力于推广并行计算的教育思维以及相关课程。“这是一个很缓慢、很痛苦的过程,因为一开始大家都不认可。”秦征表示。这样的状况一直持续到2013年上半年,随着处理器技术的发展,越来越多的高校开始了解到并行计算的应用价值,为此英特尔开设了多套相关的培训课程,同时,这家全球公司也积极引导中国高校的老师们参与到国际课程标准以及体系当中,以保持知识的同步。英特尔中国区平台产品事业部产品市场经理汤炜伟介绍说,PAC2014的针对性培训在比赛前已经举办了七八站,覆盖北京、上海、广州、长沙等各地高校。

“在教完课程之后我们开始考虑如何让学生培养兴趣,竞赛是一个非常好的方式。一方面能检验学生水平,另一方面让学生能持续做一件事。”秦征表示,“未来,英特尔计划会在全国开设一些并行教育中心,将高性能并行计算的理念推广到更多的地方。”

“HPC是脑力与体力的结合”、“这是一场刺激的比赛”,这些是来自PAC2014参赛学生的真实感受。安虹认为,高性能计算以及相关的比赛“改变了很多学生”。这些学生中,有些人原本打算毕业后直接就业,有些人本来所擅长的是软件工程方向,但是最终,他们却改变了初衷,选择了在系统结构方面继续学习下去。“接触高性能计算,使得他们对计算机有了新的理解,学习动力不一样了。”安虹表示。同时,另一方面,对这一领域的专注和专业,使得学生在毕业后面对企业时也有着充分的工资“议价能力”。

永无止境,这个词用来形容计算能力的飞跃再合适不过了。同样的,我们也可以用这个词来描述高性能计算所拥有的广阔未来场景。在这个应用范围不断提升、社会需求趋于旺盛的过程中,相关技术与知识的普及与落地已经成为了必然的趋势。我们希望,这一目的越快达成越好。

并行科技:押宝未来

在2014年全国高性能计算学术年会的现场玩“快闪”跳《小苹果》,这么与现场格格不入“不严肃”的事情怎么可能发生?你可能不相信,并行科技真的这么做了。而且,是并行科技的总经理陈健带着跳的。

这种看似只会出现在消费类或者互联网展会上的做法,恰恰反映了并行科技在2014年的变化。“将互联网思维引入高性能计算。”陈健说,这就是未来并行科技要做的事情。基于旗下的Paramon应用运行特征收集器、Paratune应用运行特征分析器,以及OITS在线运维服务,并行科技不仅可以对用户的系统运行状态进行分析、勾勒性能曲线,并进行远程监控告警,同时可以自动对一些配置、代码指令问题进行修复,尽可能让高性能计算系统达到更优的性能。为了让用户更清晰了解自己的性能和使用情况,并行科技开发了一套排行榜单。用户可以将自己的数据提交,并在榜单上进行对比。一旦监测出现问题,并行科技会主动联系用户进行告知,用户可以选择付费进行人工的调优与故障排查。

远程管理、告警、监控,甚至是远程修复、在线与其他系统比较,看起来似乎与个人电脑上的“卫士”、“管家”类产品很相像。其实这主要得益于并行科技今年所引入的来自互联网行业的投资人。陈健形容当时听投资人讲商业模式时的情景是“听傻了”。如今,利用并行科技这套高性能计算系统的“管家”,用户可以在远程完成对高性能计算系统的很多操作。 “驻扎在机房里的人只管三件事:开关机、将网线插上系统、出现问题时拨打售后电话。”陈健表示。他认为,用户并不喜欢学习如何使用管理软件,因此简单明了的在线运维最符合需求。

这套OITS在线运维服务花费了并行科技很多精力,陈健表示,目前服务的研发费用已经达到了300万~400万元。但是真正实现盈利,乐观估计还要3年之后。“这是‘长尾效应’。”陈健将赌注押在了未来3年高性能计算的发展和普及上,“我们满足特定人群的特定需求。用的人越多,找到愿意付费用户的机会也就越大。”

NVIDIA:软件至上

说NVIDIA是目前图形处理领域最成功的公司之一,这恐怕没有人会否认。这家公司不仅是将图形处理作为一个部件,更将其发展成为了一门生意。这门生意中有软件,有硬件,也有平台。NVIDIA全球副总裁、PSG&云计算业务总经理Ashok Pandey在2014年全国高性能计算学术年会上表示:“我们是一个平台公司,我们让更多合作伙伴可以将应用和技术搭建在平台上,最终提供一个整体的方案给用户。”

在NVIDIA整个平台中,CUDA并行编程技术毫无疑问是其重要的核心。没有CUDA,NVIDIA不仅不可能在高性能计算领域大展拳脚,甚至连桌面和移动市场都会丢掉。CUDA的重要性,使得NVIDIA极为重视其用户体验以及生态系统的建设。“现在全球可能有760多个CUDA编程的课程,更有几百万编程环境的下载,还有几万家甚至更多数量的公司或者机构在大量地使用CUDA编程。” NVIDIA加速计算首席技术官Steve Oberlin表示。通过并行编程,有很更多人可以更有效率地进行科学的探索、发现。Steve认为,并行计算对于整个计算科学界的影响是非常积极的。

NVIDIA解决方案工程架构副总裁Marc Hamilton特别强调说,就连NVIDIA的下一代架构Pascal,都要依仗CUDA将整个生态系统融合在一起。在趋势方面,软件也要走得更为领先一些。根据NVIDIA的规划,未来采用Pascal的GPU都会支持硬件内存统一寻址,不过实际上,CUDA早就已经在去年的6.0版本中支持软件的内存统一寻址。

对于软件的看重,使得NVIDIA一直在努力构建起一个自有的生态系统。每一年,NVIDIA都会收到来自高校学生以及研究者的GPU产品资助申请,以帮助他们开展一些研究项目。Marc表示,75%的成功申请者大都是用来进行机器学习相关的研究。这种研究资助进而推动了NVIDIA在细分领域的渗透。除了CUDA以外,NVIDIA在垂直行业另外还有其他的软件平台。比如在大数据和机器学习方面其就在9月份发布了名为cuDNN的库。

从硬件开始,历经开发软件和行业软件,最后形成加速的解决方案,这就是目前NVIDIA所做的事情。“很多人可能买了我们硬件产品之后,会配套使用我们的软件产品。”Marc表示,“实现这一切,软件是其中的关键。”

曙光:多点开花

11月6日,中科曙光上市。在同一天,HPC TOP100名单公布,曙光以32套系统名列第一,与收购了IBM x86业务的联想并列榜首。数据显示,2009年~2014年,曙光分别以27%、34%、35%、36%、35%、32%的份额稳居市场份额榜首。至此,曙光已经连续六年蝉联这一领域的冠军。值得一提的是,在2010年~2014年这五年过程中,曙光共有135套系统进入HPC TOP100,在350套的总数量中占据38.6%,遥遥领先于联想和IBM“集团军”的26.9%。

上市、冠军,这对曙光来说可谓是双喜临门。但是从另外一方面来看,这种“双喜”又何尝不是一种压力。上市,意味着未来资本市场对于业绩表现的要求会更为严苛;冠军,在获得荣誉的同时也要坦然应对背后那一双双虎视眈眈的眼睛。

曙光公司副总裁沙超群在谈到上市后曙光在高性能计算领域的发展问题时表示,曙光未来会遵循既定的计划,继续在高性能领域进行拓展。他表示,目前曙光的高性能计算系统已经被广泛用于工程仿真、生命科学、大气环境与海洋、遥感、石油勘探以及物理化学材料等领域,涉及到计算机辅助工厂、基因科学、气象、资料处理等不同的行业。同时,沙超群也表示,除了已有的传统行业以外,曙光还会继续拓展新兴的互联网、云计算等领域。

除了高性能计算业务以外,曙光在服务器、云计算、云存储、网络安全与优化等方面都有对应的业务组成。在这其中,高性能计算可以算是曙光最为拿手的业务之一。同时,其在这方面的技术优势也非常明显。因此,可以说曙光的上市,实际上是资本业界对于高性能计算领域的一种认可。

近年来,曙光一直在努力将其在HPC方面的成果转换到多条业务线上。此前推出的个人高性能计算机,以及近期所推出的计算存储一体机、HPC云等,实际上就是其在迎合市场的需求,结合自身特色所推出的产品。“将专业的事情交给专业的人来做。”沙超群表示。他重点提到说,曙光希望能够将高性能计算做到不再“高大上”,降低其应用门槛并交付完整调优后的整体方案,让高校教师、专家学者能够专心于课题研究,而不再为产品选型费心。

HPCAC:RDMA为HPC赋予无限想象

2010年HPC Advisory Council(HPCAC,国际高性能计算咨询委员会)在北京举办第二届中国研讨会的时候,其拥有160余名会员;2014年11月5日,当HPCAC在广州举行第六届活动时,其会员数已经上涨到了超过390名。四年来,尽管高性能计算市场看起来似乎波澜不惊,但是玩家却越来越多。

对于HPCAC来说,目前的重要任务,是如何扩大市场的规模,拓展高性能计算的应用领域,研究如何更加有效的应用高性能计算系统,让新用户了解高性能计算如何帮助他们更好地进行研究、教育、创新以及产品制造,同时分享构架和使用高性能计算机系统的专业经验,辅助程序设计者实现程序的并行计算,促成更高质量的高性能计算系统的集成。

“数据在飞速增长,每天都会产生大量数据。”HPCAC主席Gilad Shainer表示,“而我们的目的是让数据产生价值。”如今,高性能计算正在物联网、关键业务、智能汽车、智慧城市、人工智能以及医疗健康等多个领域发挥着作用。不过这在Gliad看来还远远不够。在他看来,高性能计算每年的性能都会增长,永无止境。这意味着,高性能计算能够被应用于任何需要计算资源的领域。比如,在HPCAC最新的大学奖获奖名单中,就包括利用高性能计算来拍摄复杂音乐电影的实践,这为高性能计算的普及赋予了更多想象的空间。

为此,HPCAC一直在寻求能够更好支持不断增长计算性能,同时又能扩大应用领域的技术。目前来看,Infiniband不失为好选择,但是成本似乎还是不够低。RDMA(Remote Direct Memory Access)在这时进入了HPCAC的眼中。由于其可以直接与内存通信,避免了缓存与总线的限制,因此理论上来说可以获得更好的传输速度。不过RDMA并非是新技术。只是在2013年以前,其无法使用以太网的TCP/IP传输协议,这限制了其使用空间。新的RDMA标准让这个技术“老树开新花”。不过,以太网传输距离较短的问题目前成为了RoCE(RDMA over Converged Ethernet)发展道路上的瓶颈。国际高性能计算咨询委员会亚太区总监刘通介绍说,目前支持RDMA技术的100Gbps网线最长已经可以做到 4米,研究人员正在攻克6米大关。

为了推广RDMA,HPCAC在举行第六届中国研讨会之前,特别在国内举行了第二届RDMA大学生编程挑战赛。本次挑战赛吸引到了29个国内高校参加。在11月5日举行的颁奖典礼上,中国科技大学、西北工业大学等获得了本次挑战赛的桂冠,西安电子科技大学、华中科技大学并列获得第二名,上海交通大学、南京大学和国防科技大学并列季军。

身为HPCAC的主席,Gilad的另一个身份是Mellanox的营销副总裁。这家在高性能计算领域沉浮多年的公司,尽管因为Infiniband而为人所熟知,不过如今其也在积极拓展自己的以太网业务。Gilad表示,目前Mellanox已经占据了Infiniband市场50%以上的份额,未来其希望也能够在RDMA方面获得类似的成功。高性能存储、大数据以及云计算,都将会是未来RDMA施展拳脚的场所。

陈一峯:HPC硬件发展速度太快

高性能计算(HPC)正在变得越来越复杂?表面上看似乎是这样:处理器的计算架构不断更新,大数据带来了更多的数据源和计算量,新技术使得计算模型被反复推倒建立。这个本就有些阳春白雪味道的技术,难道愈发曲高和寡?

“硬件技术的发展太快了。”北京大学信息学院计算机系副主任、百人计划特聘研究员、博士生导师陈一峯在谈到新技术对应用开发带来的挑战时表示。技术演进的时间越来越短,而同时HPC应用开发的流程却暂时还没有得到大范围提高,这使得HPC看起来越来越复杂。

多学科交叉、保持应用与IT的良好沟通,这是缩短HPC应用开发的一个有效手段。根据陈一峯的介绍,如今一些国家已经成立了国家层面的超级计算中心,目的就是打通计算与应用之间的鸿沟,减少应用开发的时间,以赶上技术前进的步伐。

实际上,就连英特尔这条计算领域的“大鳄”也认为“硬件发展速度过快,软件跟不上了。”英特尔中国公司软件与服务集团客户响应团队经理乔楠认为,如今的计算,不仅是核心数在不断增加,就连VPU等组件都在不断“长胖”,变得愈发复杂。因此,对于英特尔这家以芯片著称的厂商来说,构建起一整套围绕计算展开生态系统,甚至要比发展芯片本身重要得多。

这就是为什么近几年来,英特尔每年都会举行英特尔高性能计算研讨会的原因。在日前于重庆举行的“2014英特尔高性能计算研讨会”上,英特尔邀请到了多名HPC领域的学者、专家以及相关用户,就应用开发模式、行业经验以及前瞻技术进行了深入交流。

乔楠表示,一直以来英特尔都在进行着努力,“尽可能地弥补硬件发展过快导致的软件问题。”一方面,英特尔与大学以及行业培训机构进行了深入合作,提供多核培训内容和材料。另一方面,英特尔也提供了VTune、Thread Profiler等多线程、多进程的工具,简化开发。众所周知,英特尔在架构上的统一,使得其最新的众核(MIC)架构可以和CPU开发共享开发工具。最后,乔楠重点提到,从长远规划上看,未来HPC不同型号、不同平台将会走上融合的道路。“从编译器的角度会把不同平台的指令集屏蔽掉,并可以捕捉硬件平台差异自动适应。”他表示。

多学科融合、多平台融合,实际上目前高性能计算发展的关键,已经不再仅仅是浮点性能高低、算法优劣等评判标准,而是包含了产业推进、基础学科培养、上层应用教育等多个环节。陈一峯在研讨会的演讲中就多次提到,HPC的开发一定要与垂直行业的应用专家一起进行。他表示,北京大学作为文理工综合大学,由于生物、化学、物理、天文、工学、工程等学科布局非常完整,因此在多学科交叉角度进行了很多应用开发。

实际上,在本次研讨会上,多名专家和用户均提到了HPC的多学科交叉话题。“高性能计算确实涉及的方面比较多。既要懂数学又要懂计算机的结构,还要懂物理,这对人才的要求很高。”陈一峯表示。不过同时他也认为,由于国内对于HPC硬件投入了很大精力,因此学习的机会也并不少。

如今,围绕高性能计算出现了很多开源项目。乔楠认为,这是改变HPC“阳春白雪”的一个积极信号:“性能效率差,但是开发效率高。”乔楠表示,飞速发展的硬件技术和架构都经过了专家学者和厂商的长期实验和讨论,其出现符合最大的社会和商业效益。在这个技术更迭的过程中,开源项目会发挥它的作用。

本报记者 李旭阳

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
曙光拿下HPC七连冠,但这只是个开始
超算“世界杯”中国队惜获亚军
全球超算风向已变 GPU引领加速计算时代
一机全能——GTC上黄教主发布的NGC服务器在哪里?
超以太网联盟(UEC)正式成立(白皮书下载)
国家气象信息中心高性能计算2.79亿元大单浮出水面
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服