朱跃龙：云计算与水利信息化
河海大学 朱跃龙
（本文是朱跃龙教授在中国水利学会2012学术年会上的特邀演讲稿）
一、水利信息化发展现状
兴水利，治水患，解国忧，保民安。水利事业自古至今事关国家命脉，直接影响到国家社会经济发展，必须从战略的高度重视水利事业。众所周知地，我国目前水利发展的基础还比较薄弱，东西部发展存在诸多不平衡，全面实现水利现代化的事业还任重道远。2011年，对水利事业而言是个极其重要的年份，中央一号文件从民生和国家利益的战略高度强调了水利的重要性。要实现国家对水利提出的新目标，充分利用信息技术整合资源，加快水利信息化建设是关键。加快水利信息化步伐，以水利信息化带动水利现代化，是一项事关水利发展全局的重大战略任务，是顺应全球信息化发展潮流的迫切需要，是改造传统水利的迫切需要，是提高水利管理能力和决策水平的迫切需要。
经过长期有规划、有步骤地开展水利信息化建设工作，当前已取得了巨大的成就。从国家、流域到省、市、县，各级、各地水利信息化主管单位十分重视水利信息化的建设，在软、硬件方面投入巨大，既配备了高性能的计算机、服务器等，也逐步建设了诸多各类的水利信息化业务软件。根据近两年的《中国水利信息化发展报告》，当前全国水利信息化取得了巨大的成就，各级各地水利信息化主管单位都十分重视防汛防旱信息化的建设，在软、硬件方面投入巨大，既配备了高性能的计算机、高速网络等，也逐步建设了相关的业务软件。水利部的国家防汛抗旱指挥系统建设成果斐然，建成了水利信息传送的“高速公路”，实现了各地防汛抗旱指挥实时决策会商，搭建了各级水利数据中心框架，开发了水情应用、防洪调度、抗旱管理等业务应用系统。在流域一级，以长江水利委员会为例，开发了防汛抗旱移动办公系统以及洪水预报相关图建模系统；在省级，以江苏、河北为例，江苏省防办建立防汛决策支持系统、洪水预报调度系统、防汛异地会商电视会议系统以及太湖流域洪水预报子系统和防洪调度子系统，河北省水利厅建设了大型水库洪水调度系统、蓄滞洪区信息管理系统、水灾损失及时评估决策支持系统。在地、市一级，防汛防旱信息化工作也成绩显著，以淮安防办为例，先后建设了水雨情综合查询系统、淮安市防汛指挥系统、城区水雨情遥测监控系统、气象卫星云图接收分析系统、淮河流域洪水预报系统、水库群洪水预报调度系统等业务系统。这些应用系统在防汛防旱工作中发挥了明显作用，为国家防汛抗旱总指挥部和各级防汛部门的调度决策提供了科学、高效的支撑手段，效益明显。
但是，随着应用的不断深入和信息技术的快速发展，水利信息化的现状与水利现代化的发展要求相比，尚有差距，存在的诸多难题使得水利信息化系统难以很好地满足实际工作的需求。
二、水利信息化建设中的亟待解决的共性、关键问题
水利信息化建设中遇到的主要难题表现在以下方面：
1）资源整合难。各级各地水利信息化部门重视硬件资源投入，硬件设备不断扩充和完善，但是“有机器不等于有资源”。单一的机器所能提供的能力有限，大量的机器既难以维护，又难以组织。如何整合计算、存储、网络等资源，提高软、硬件资源利用率低是当前各级水利信息化管理部门遇到的难题。
2）遗产系统的重用与维护难。由于缺乏用来快速部署异构应用系统的标准化环境，当前水利信息化部门的遗产业务系统存在维护、重用难的问题，系统价值发挥受限。另外随着时间推移，承载应用系统的服务器硬件老化并且负载能力已难以支持不断增多的用户请求，并且不少系统的安装程序、配置文件等难以找到，从而无法迁移或升级。因此，如何充分利用遗产系统的数据，保障遗产系统不断发挥作用是又一难题。
3）以数据密集型应用为代表的新的应用需求迫在眉睫。如水利普查数据、各类GIS数据、遥感数据或物联网采集的土壤墒情、水文水质数据等这些海量数据以及相应的数据密集型（Data-intensive）应用的出现，而对这些海量数据资源的高性能计算处理、多维度分析、快速的存储、检索和备份等工作需要新的计算范型和数据处理平台；
4）基层水利部门的信息化基础薄弱，水利相关信息资源的共享、获取能力有限，应用、维护业务系统的专业人员缺乏，建立新型的基层水利信息化工作服务模式也势在必行。
三、几个引例
在介绍云计算的概念概念前，先跟诸位分享下几个有趣的例子。
【案例一】
2008年3月19日上午10点，美国国家档案馆公开了希拉里·克林顿在1993—2001年作为第一夫人期间的白宫日程档案。由于这些档案是新闻记者团体和独立调查机构依据“信息自由法案”向国会多次请愿才得以公开的，因此具有极高的社会关注度与新闻时效性。但是，这些档案是不可检索的低质量PDF文件，若想将其转换为可以检索并便于浏览的文件格式，需要进行再处理。
华盛顿邮报希望将这些档案在第一时间上传到互联网，以便公众查询，但是据估算仅每一页的操作，以报社现有的计算能力就需要30分钟。因此，华盛顿邮报将这个档案的转换工程交给Amazon EC2（Elastic Compute Cloud）。Amazon EC2同时使用200个虚拟服务器案例，每个服务器的单页平均处理时间都缩短为一分钟，并在９小时内将所有的档案转换完毕，以最快的速度将这些第一手资料呈现给读者。
华盛顿邮报为尽快完成档案的转换任务，使用了200台虚拟服务器，并为其所获得的1407小时机时支付了144.62美元。虽然华盛顿邮报没有足够的运算处理能力，但是云给了它强大的资源来快速完成任务，而它仅需要根据实际使用量来付费。对于华盛顿邮报来说，如此巨大计算量的任务并不经常出现，因此按照这个标准购置IT设备显然是不合理的。如果没有Amazon EC2，华盛顿邮报在９小时内完成档案的转换工作将是不可能的。
【案例二】
哈根达斯是著名的冰激凌供应商，其加盟店遍布世界各地。因此，公司需要一个CRM（客户关系管理）系统对所有的加盟店进行管理。当时哈根达斯用Excel表单来管理和跟踪主要的加盟店，用Access数据库来存储协议加盟店的数据，但是使用虚拟专用网（VPN）来访问该数据库的效果总是不太好。因此，公司急需一个能够让分布在各地的员工沟通协作的解决方案，并且该方案应该能够根据不同的需求进行灵活配置。
哈根达斯公司选择了Salesforce CRM企业版，应用系统在不到6个月的时间就上线了。除此之外，该系统将Microsoft Outlook和Salesforce CRM集成了起来，从而使员工能够轻松地访问Outlook中的联系人列表、日程和商业信息。Salesforce.com还为哈根达斯的解决方案提供了员工培训模块、加盟店跟踪模块，以及新店选址模块。哈根达斯公司用更少的成本获得了超预期的效果。
【案例三】
国际商业机器公司（IBM）作为全球整合的大型跨国企业，在全球共拥有9所研究院，汇聚了3000多位顶尖的科学家和研究员。在他们之中共有6位诺贝尔奖获得者和6位图灵奖获得者。在2009年，共有4914项美国专利在IBM诞生。在这里，每天都有不计其数的科学实验在进行着，其中有些实验需要有海量的计算和存储资源作为支撑。虽然每所研究院都配备了先进的IT设备，但仍然满足不了某些实验的需求。除此之外，由于这些研究院分布在世界各地，处于不同的时区，给合作科研提出了挑战。
为了给研究部门的创新提供源源不断的支持，也为提高各研究院间的沟通协作效率，IBM公司构建了IBM Research Compute Cloud（RC2）将分散在各个研究院的资源系统（如服务器、存储）整合，为公司内部所使用。该系统为科研人员提供了共享计算和存储资源的平台，通过任务调度和安排，为每一项科学实验提供了有保障的动态资源供给，而且不需要科学实验人员来管理这些资源。不仅如此，不论是实验的中间流程还是最终结果，都是在该系统中完成和保存的，所以有效地保证了数据的安全，并使得身处世界各地的研究人员随时可以对它们进行查询和交换。这一切大大提高了协同科研的效率，为IBM公司不断深入的创新提供了强大的推动力。
其实，从上述例子可以看出，云计算并不那么神秘，总的说来，就是把服务器等计算统一到高端，用户只需要通过互联网来共享相关的服务就可以了。传统信息中心与云计算的区别，就像煤气罐与管道煤气的区别一样，同样的例子如电、水等。
四、云计算概述
云计算是虚拟化技术、效用计算、并行计算、分布式计算等混合演进并跃升的结果，代表了当前IT领域最先进的理念。当前，云计算已经得到学术界和工业界的极大关注与大力推动，取得很多成果，如：Apache的Hadoop、桉树Eucalyptus、Amazon的弹性计算云EC2 等。并且，云计算也在很多领域得到应用，如：生物信息计算、语义分析应用、病毒处理和高性能
对于云计算，当前尚未有统一的定义和规约，美国国家标准技术研究所（NIST）信息技术实验室给出了一个最综合的定义，即：云计算是一种记次付费的模式，该模式能通过可用的、方便的、随需的网络来访问资源可动态配置的共享池，该共享池包括网络、服务器、存储、应用和服务等。并且，资源可配置的共享池可以通过最少的管理或与服务提供商的交互来实现资源的快速配置和释放，其中所包含的弹性、共享、随需访问、网络服务及记次收费是云计算的关键要素。
从服务的角度，云计算可以被看成是一系列的服务。描述了一个最为基本的云计算模型的栈结构，见图1。整个栈结构的最底层是服务器、存储等硬件资源，基于这些硬件资源云计算实现了虚拟化（Virtualization）层，它可以提供对硬件资源的抽象，降低用户和资源具体实现之间的耦合度。在虚拟化层之上的是IaaS（Infrastructure as a Service）层，指的是将网络、存储、计算资源等硬件基础设施作为服务供用户使用，比如亚马逊云计算的弹性计算云EC2；IaaS层之上的PaaS（Platform as a Service）对资源的抽象程度更高，是指将程序的运行平台作为服务提供给用户，Google App Engine是PaaS的代表；在整个栈结构的顶层是SaaS（Software as a Service），指的是将某些特定软件作为服务，它允许用户通过网络来访问这些软件应用，Saleforce是SaaS的代表。
图1-云计算的层次化结构
对于云计算，从部署的角度看,可以分为3种基本类型，分别是：公有云、私有云和混合云。公有云是由若干用户或企业共享的云环境；私有云的云基础架构企业或组织单独拥有和使用的；混合云则是公有云和私有云的混合。由于当前安全性、隐私性是公有云面临的一个挑战，私有云成为当前企业采用云计算的主要应用类型。
云计算技术体系结构中分为4层：物理资源层、资源池层、管理中间件层和SOA层。在资源池层涉及的虚拟化与在SOA层涉及的SOA、Web服务是实施云计算的最为关键技术。
图2 云计算的技术层次结构
所谓虚拟化，现在其还是个广泛而变化的概念，IBM将虚拟化定义为“虚拟化是资源的逻辑表示，它不受物理限制的约束”；认为“虚拟化是一种抽象方式，可以将应用及其组件跟提供支持的硬件分离开来，并提供一个对资源的逻辑或虚拟的视图”；认为虚拟化是“一种能将资源合并或划分以提供一个或多个操作环境的技术”。不难看出，虚拟化的核心理念就是以透明的、通用的方式向用户提供抽象的各类资源，且对用户隐藏了不必要的细节而享受与物理机相同的用户体验。在虚拟化技术中，根据被虚拟的资源的不同，可以分出不同类型的虚拟化技术，如：网络虚拟化、存储虚拟化、系统虚拟化和软件虚拟化。系统虚拟化的核心思想是使用虚拟化软件在一台物理机上虚拟出多台虚拟机（Virtual Machine，VM），其中虚拟机是指使用虚拟化软件模拟的且具有完整硬件功能的、运行在一个隔离环境中的逻辑计算机系统。服务器虚拟化是将系统虚拟化技术应用于服务器，将一台物理服务器虚拟成若干个服务器使用，它通过虚拟化软件向上提供对硬件设备的抽象和对虚拟服务器的管理。
从软件工程角度，SOA包含了一组用来设计、开发和部署软件系统的原则和方法，它最大的优点在于为软件系统提供松耦合机制、跨平台的特性；Web服务是具有自包含、自描述特性的、基于标准技术的组件，可以通过Web进行访问，也是实现SOA的最主要方式。通常，云服务被设计成标准的Web服务，并纳入到SOA体系进行管理和使用。另外，Web2.0与Mashup技术为用户使用云计算平台提供了接口。
具体说来，云计算平台有以下优势：
（1）超大的存储和计算能力
用户能够利用任何可以登录互联网的设备（笔记本电脑、平板电脑、智能手机等）来登陆云计算系统进行相关数据的查询与操作，并可对相关应用系统进行实时动态管理。“云”由众多服务器组成集群，因而具有超大的存储能力和计算能力。
（2）“云”中的数据、软件
在云计算模式下，业务数据存储在云中，在需要的时候直接从云下载使用，各个应用系统统一部署在云中，并由专门的管理人员负责维护，即使某个应用系统软件出现故障时，也不会影响其他应用系统的正常工作。
（3）高可靠性与可用性
“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。使用云计算比使用本地计算可靠。所有的服务分布在不同的服务器上，如果其中的某节点出问题就终止并启动另一个节点，实现容错，保证了应用和计算的正常进行。
（4）虚拟化管理
云计算平台最大的特点是利用软件来实现资源的虚拟化管理、调度及应用。用户通过虚拟化机制使用计算资源、网络资源、硬件资源、数据库资源、存储资源等，这样能够大大降低成本和提高资源的利用率。在虚拟化技术之上，通过建立一个随需而选的资源共享、分配、管控平台。该平台能够根据业务的不同需求，搭配出各种互相隔离的应用，形成一个以服务为导向的可伸缩的基础架构。
（5）动态可扩展性
在云计算体系中，可将服务器实时加入到现有服务器集群中，提高“云”处理能力，如果计算节点出现故障，将其任务交给别的节点，排除故障后再重新加入云中。同时还能够动态分配资源，按需供给软硬件服务。“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。
（6）服务平台无关性
在云计算模式下，服务端及客户端的信息往来将通过规范的协议完成，客户端及服务端不必保证平台的一致性，服务端只需开放公共的接口，通过中间件与客户端进行联系，这种平台包括硬件平台、操作系统平台及网络平台等。云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。“云”可看成拥有多个服务的资源池，无数的软件和服务被置于“云”中，为用户提供服务。
（7）应用的灵活定制
用户可根据自己的要求来对云计算服务进行相应的定制。云平台可以根据用户的需求来部署相应的资源、计算能力、服务及应用。
五、水利云平台
河海大学与淮安市防汛防旱指挥部办公室联合开展了“基于云计算的防汛防旱信息集成平台的研究”项目，在目前防汛信息化工作基础上，运用云计算的先进理念和关键技术，结合防汛防旱信息化工作的业务需求，从更深层次上研究如何在更高的层面上开展防汛防旱信息化工作，解决当前现状中存在的“资源整合难、遗产系统重用难、业务系统协同难”等关键问题，推动防汛防旱信息化的发展，并为国家防汛抗旱指挥系统二期的顺利开展进行有益的探索和技术储备，为水利信息化工作开拓新的研究思路。
本项目“基于云计算的防汛防旱信息集成平台的研究”按照水利现代化的总体要求，以当前防汛防旱信息化中存在的一些共性的关键问题为着眼点，以淮安防办的信息化建设为应用场景，开展云计算平台关键技术研究与构建示范系统。
具体内容包括：
1、在研究诸多开源的云平台解决方案的基础上，设计了基于开源的云平台解决方案CloudStack的“水利云”平台，首次利用虚拟化技术整合了计算和存储资源，实现对资源的统一管理和分配实现对资源的自动控制和分配，允许用户按需自助地获取资源池里的计算与存储资源。并且，当用户对某个业务系统的访问量增大时，云平台可以快速扩展资源，确保业务应用系统保持较高的性能，有效地解决了资源整合难的问题。
2、以“水利云”平台为依托，构建了防汛防旱应用系统快速部署的标准化环境，实现业务系统与特定操作系统、硬件平台之间的解耦合，并首次研究使用P2V技术将业务遗产系统无缝迁移到云平台上，有效解决了“遗产系统重用难” 和硬件系统的可靠性问题的问题；
3、基于防汛防旱业务需求和“软件即服务”的新理念，设计、开发了水雨情分析、防汛预警等八类服务簇、79个具体服务，完成了对防汛防旱业务的封装和服务化实现。使用门户对服务簇、遗产系统进行统一管理，实现系统间的互联互通，并为用户提供定制功能，实现“一站式”的业务服务访问，解决了业务系统间协同难的问题；
4、研发了利用多种智能终端访问云服务的方式，并可灵活、方便地添加、扩展新的智能终端设备，方便用户通过网络快速获取防汛防旱信息，支持了移动办公；
5、为支持异地视频会商，提高防汛防旱决策工作的效率，以云平台为依托，构建将防汛抢险现场、各级防汛防旱指挥中心、决策专家通过3G网络连接在一起的实时移动网络视频可视化会商环境。
6、提供给用户虚拟机的申请和使用机制，用户可以按需自助的申请计算和存储资源，改变用户使用软、硬件的方式，不需要用户在本地安装和配置办公和业务系统软件，改变以本地操作为主的使用软、硬件的工作模式，降低业务应用系统的运维成本。
7、实现对硬件资源的统一管理和维护，管理人员通过Web访问就可以查看到资源的分配、使用情况，并且可方便地对资源进行管理和维护，降低了系统维护成本，提高了资源的利用率。
图3-水利云平台的体系结构图
六、总结
云作为一种新的计算范型，其服务化的理念和以虚拟化、多租户为代表的关键技术必将有力的推动信息化的跨越。对于水利信息化而言，当前水利云平台的建立为后续的研究和应用奠定了踏实的基础，也必将为加快水利信息化步伐，带动水利现代化发展提供切实可行的方案。
——————————————————
报告人简介：朱跃龙，男，1959年12月出生，江苏建湖人，教授，博士生导师。现任河海大学党委常委、副校长。1982年毕业于华东水利学院(现河海大学)计算机及应用专业并留校任教，其间获水利水电工程专业博士学位。长期从事计算机计算机应用技术及水利信息化的教学和科研工作。现兼任中国水力发电工程学会副理事长、中国水利学会水利信息化专委会副主任委员、江苏省水力发电工学会理事长等。
主要研究领域为信息集成与中间件技术、智能数据处理与数据挖掘等。先后负责完成国家“863”项目、国家自然科学基金项目、水利部“948”项目以及“水库调度综合业务系统”、“省级防汛指挥系统”等一批基础研究和重点工程应用项目，其中有4项研究成果获得家及部省级科技进步奖。发表论文60余篇。
联系客服
