全面支持XML的DB2 9

异构时代，谁将统一度量衡？

李琨 发表于 2006-8-18 21:37:00

       全面支持XML的DB2 9在7月14日破冰而出
　　
　　郑妙勤：ＤＢ２ ９将以先进的技术和理念开拓一个以ＸＭＬ应用为主导的新纪元。
　　异构数据之困
　　信息社会，信息量不断膨胀，尤以异构（非结构化）数据膨胀速度为最，已占据社会信息总量的８５％强。但在面对管理这些异构数据时，用户常常一筹莫展。
　　“在信息社会，我们强调对信息数据的管理与应用。数据库系统在各行业发挥重要作用的同时，人们却忽略了这样一个事实：社会上多达85%的信息并没有获得有效管理。”中国科学院研究员周龙骧向记者表示：“这85%的信息大多是以异构数据的形式表现的，包含图文资料、流媒体、多媒体、Web网页和程序等对企业极具商业价值的信息。”
　　对此，Gartner分析师认为，作为数据管理的下一个发展阶段，数据库系统的内容管理应当充分允许用户收集、管理和发布所有形式的商业信息，并能将这些信息与用户的业务相衔接，支撑用户的商业分析与决策，而不仅仅是满足于对结构化数据的管理。
　　其实，该分析师的观点也反应了用户对数据库系统的实际需求。在许多企业的日常业务中，由于数据库系统缺乏对异构数据的管理，致使业务运转与发展受到严重影响。
　　江苏苏州的一家大型制造企业，在产品型号定型生产前，往往需要反复进行设计修改并试制产品。大量的机械设计工作由CAD等工具软件完成，但由于工具软件生产的设计图档数据无法与工控机床等设备对接，大量设计数据需要由人工转换为工控数据，并由人工输入工控系统。在转换与输入过程中，常常因为工人出错导致试制产品失败。有一次，该企业就因为这种差错造成试制产品无法准时提交给欧洲客户，致使公司损失了一批金额庞大的订单。
　　在我国的载人航天工程中，也遭遇着与该企业类似的情况。据北京神舟航天软件技术有限公司副总经理何清法介绍，航天工程涉及大量工程数据，如CAD设计数据、工艺规程数据、型号试验数据以及各类元器件数据，这些数据由不同的应用产生，结构差异很大、密级要求也各不相同。这些工程数据不但结构复杂，而且数据量庞大。其中CAD设计数据通常都是大型的图档数据，而型号试验数据在试验过程中以每秒数十兆的速度实时产生，经过一段时间，数据量很快就会达到海量数据的规模，在异构数据、海量数据这两种情况下，如何对数据进行有效分析与应用一直是航天工程的重要课题。
　　异构数据在直接导致公司丢单的同时，也给企业信息管理带来了诸多难题。
　　何清法认为，异构数据很容易给企业带来信息孤岛问题。由于异构数据的存在，企业内部各类系统互相独立，信息无法沟通和共享，造成了企业应用之间的隔阂，阻碍了企业信息化向更高层次发展；此外，异构数据还迫使企业增加投入和管理成本，在系统建设上往往带来重复投资，也增加了管理成本的开销。
　　在给企业带来麻烦的同时，伴随着IT环境的日趋复杂化和多样化，企业内、外部以及网络上的异构信息却呈爆炸增长之势。有统计表明，来自交易中的可管理的结构化数据每年的增长速度达61%，与此相关的异构数据每年增长率甚至超过92%。
　　而信息爆炸的背后，企业业务决策对这些异构数据的依赖程度也越来越大。如何有序地存储、管理并利用这些大量、异构化的信息，企业面临着巨大挑战。如果一个企业无法将这些信息进行系统地编目和管理，随之而来就是不断流失的生产力。
　　如何将存储于电子邮件、电子表格、文本文件、平面文件、多媒体等不同载体的信息管理起来，并与企业业务关联起来，成为企业的巨大困惑。
　　针对这种困境，7月14日，IBM推出了DB2 9（代号为Viper），IBM院士王云这样形容DB2 9的革命性突破：人类目前所能处理的数据大概只占自然世界数据的20%，DB2 9的诞生将使人们处理的数据达到80%。
　　工程师之惑
　　面对企业各系统间的信息孤岛、孤立的异构数据，企业主往往不顾技术能否实现，一味要求数据库工程师尽快实现各系统间的信息共享，实现对所有与业务相关的信息整合管理。企业主的催促几乎成为工程师的噩梦。
　　美国一家市场调研机构有一组发人深思的统计数字：企业员工为了完成自己的工作而用于寻找信息的时间平均占所有工作时间的30%，这相当于员工每周40小时的工作时间被缩减为28个小时。而这其中，由于员工搜索信息的不准确，还常常给企业带来业务损失。
　　没有一家公司允许员工每年用30%的工作时间去休假，然而，由于搜索信息耽误了大量的工作时间，却是很多企业和组织不得不面对的无奈现实。于是企业只能将信息管理的难题留给数据库工程师。
　　某位来自江苏的数据库工程师，在参加中国计算机报主办的“2006年中国首届杰出数据库工程师评选”时，向记者抱怨：他们在帮助某家银行实现了省级业务数据的大集中之后，由于这家银行的领导在处理下属一家支行事务时，发现自己无法通过系统检索这家支行上年度的相关报文，就坚决要求工程师尽快在系统内实现检索、查询并流转分散在各地支行，甚至营业所的异构信息。对此，他们一筹莫展。
　　因为要实现这位领导的需求，并不是在系统内添加几个功能项这么简单，这需要将整个银行系统进行第二次数据集中，而且，这次集中所涉及的将是量级远远大于结构化数据的异构数据。
　　除了信息量庞大之外，要实现对异构数据的管理与应用还涉及数据模型。据2006年中国首届杰出数据库工程师评选中表现突出的独立咨询顾问牛新庄介绍，数据模型的能力将直接体现一个企业信息管理的能力，在实施企业数据库系统建设的初始阶段，由于工程师对需求了解不深或受数据库产品技术的限制，往往无法达到管理异构数据的需求。
　　为了能够让数据库产品在技术上支持异构数据管理，IBM公司的研发工程师们也一直在探求。早在2001年10月份，考虑到电子商务大批量内容分发处理的需求，IBM公司就宣布投资10亿美元用于推进数据管理技术的提升，其信息管理部门将主要致力于为企业用户提供能够实现异构数据管理的产品。
　　2005年8月，IBM公司推出通过开源资源提供其非结构化信息管理架构（UIMA）的计划。UIMA倾注了IBM研究中心4年多的心血，通过提供一种具有标准界面的开放软件框架，UIMA让工程师可以方便地为任何应用添加对异构信息进行分析的能力，这样，用户就能方便地跨数个不同供应商的产品，将分析软件工具与端到端的企业应用进行集成。
　　IBM中国软件开发中心总经理郑妙勤表示：“UIMA首次提供了不同知识发现、搜索、商业智能和文本分析软件之间的真正互操作能力，这一创新技术将帮助企业提供具有突破性的解决方案，使其能够采用全新、先进的方法，充分利用异构信息。”
　　今天，DB2 9的正式发布，通过层次型与关系型的混合管理模式，将进一步帮助数据库工程师实现多年来的梦想——对结构化数据与异构数据进行统一管理。
　　XML已成气候
　　是什么让ＤＢ２ ９能帮助工程师实现结构化数据与异构数据统一管理的梦想？ＩＢＭ大中华区副总裁宋家瑜引以为傲地表示：来自８个国家的７５０多名ＩＢＭ研发人员５年多的心血，成就了ＤＢ２ ９对原生ＸＭＬ文档的支持。
　　XML（可延伸标示语言）技术作为一种自我描述的数据结构，具有极大的灵活性，凭借其可扩展、平台无关和易于交换等特性，已成为网络环境资料交换的基础标准，并正在获得行业的一致认可。
　　清华大学教授周立柱认为，未来SOA（面向服务的架构）和XML将被广泛接受，并在各行业信息化建设中发挥重要的作用。从某种意义上说，XML的应用将比SOA更普及，因为随着信息量越来越多，要实现海量信息的共享就需要大家使用相同的语言。基于其可扩展性和易理解性，未来XML将成为业界广泛使用的语言。
　　随着业务和IT技术的演化，越来越多的公司开始广泛采用XML技术。同时，为了实现在不同系统和应用程序之间交换数据以适应业务环境的快速变化，大量企业开始建立SOA，而XML正是SOA得以建立的基础。
　　在面向服务为导向的潮流下，XML已成为企业商业流程与网络服务的主流资料格式。原本各自为政的软件厂商，为了在讲究应用互通的网络服务时代站稳脚跟，先后向XML靠拢，抢占商机。
　　Ultimus公司亚太区副总裁Keith Wannop认为，XML的出现正在酝酿文件传输模式的重大革命。Ultimus公司的产品将全面支持XML技术。
　　拥有全球5亿套Adobe Acrobat流通量的Adobe公司，已经逐步将单纯的PDF格式转为互通性的商业工具软件，目前仅能进行阅读或打印的PDF档文件，未来将与SAP、Oracle等ERP商业软件实现互通，使商业应用软件生成的报表可以通过Adobe的窗体来呈现。同时，该公司目前也有具XML功能的服务器软件产品问世。
　　在国外软件厂商纷纷转向XML的同时，国内业界也遵循着相同的发展方向。Linux界的电子窗体厂商翔威国际，也宣称其电子窗体产品已经可以支持XML，并能与企业资源规划等商业软件应用系统整合。
　　来自IDC的分析数据表明，当前XML已经成为Internet上数据描述和交换的主要标准。国内外电信、金融、医疗、电子商务、新闻出版等重要应用领域，已经制订了各自基于XML的数据发布规范。因此越来越多的应用系统将采用XML作为标准格式，发布和交换数据。
　　XML技术在为业界广泛使用的同时，也给工程师带来了管理异构数据的希望。何清法认为，管理异构数据应该从两方面入手：第一，要注重顶层规划和设计，在规划企业应用时，必须充分意识到大量异构系统存在的危害，尽量按照共享数据资源和统一门户的思路建设企业信息系统；第二，在大量异构系统已经存在的情况下，要利用数据库系统提供的最新技术，制定数据接口规范，在更高层次上整合异构数据资源，实现数据共享。而XML技术则是实现异构数据整合的一种非常有效的技术手段，对各种类型数据的统一描述提供了较好的技术支撑，因此XML将成为异构数据整合的一种主要手段。
　　“谁能控制、支持和存储所有类型的数据，谁就有能力扩展自己其他产品和服务的市场空间。因此整合XML、对象数据、多媒体数据，将所有数据类型整合在一个平台上，将是传统关系数据库发展的一大趋势。”北京大学副教授王腾蛟这样预测道。
　　由此看来，实现对原生XML文档支持的Viper可算是引领了下一代数据库的发展潮流。
　　信息管理的革命
　　中国金融电子化公司的测试表明，Ｖｉｐｅｒ对ＸＭＬ的支持彻底改变了开发基于ＸＭＬ数据交换应用系统的模式，ＸＭＬ的灵活性使得开发人员可以更专注应用模型，而不需花太多时间在细节数据的处理上。Ｖｉｐｅｒ开创了一个传统关系型数据库与ＸＭＬ数据混合应用的新时代。
　　传统的关系数据库，管理的是结构化数据，数据以行和列的二维表形式进行存储，并通过标准的SQL查询语言进行查询。随着Web时代的到来，异构数据的管理成为人们关注的重点。这些数据通常都不以行和列的格式存在，不像关系数据那样，是严格的结构化数据，因此对这类数据的存储管理以及快速高效的查询是对传统关系型数据库的挑战。
　　中国软件与技术服务股份有限公司项目经理杨晓波介绍，XML数据与通常的关系型数据库的区别之处就在于它是有结构的，并且可能在同一个Tag下包含多值，元数据模型可以方便地从XML文件向内容管理数据模型转换。此外，在描述不同内容之间的关系时，XML准许用户在初始模型建立或者使用过程中随时建立链接、数据库外键和引用属性。这是一种可以将系统中任意两个记录关联在一起的方法，不管这两条记录在数据模型上是否相似，也不论他们是否已经和其他记录建立了链接关系，从而为客户建立描述内容的方式提供了便利的条件。
　　作为Viper的正式beta客户，招商银行进行了对Row Compression（行压缩）、Label-Based Access Control（基于标签的存取控制，LBAC）、Native XML（数据库内置XML支持）三项新功能的测试。招商银行信息中心总经理华敏表示，Viper的行压缩技术可显著降低存储压力，节省在存储上的费用。实验结果表明，Viper在大表上的压缩率大部分超过70%。若使用Viper的压缩技术，招商银行当前的数据仓库将可望节省超过50%的存储空间。
　　华敏认为，更为重要的一点是，XML在当前IT环境中扮演着越来越重要的角色，事实上，它已经成为数据交换的标准、SOA架构的基石。Viper中对XML的支持不同于传统关系型数据库支持XML的方式，它是一种内置的方式，对XML的存储不是在LOB（大对象）字段中，也不是分拆后放在不同表中，而是直接存储在XML类型的字段中。测试表明，Viper可以在XML内容上建索引，显著地提高查询性能，同时支持SQL查询和XQUERY查询，大大降低应用中的处理难度。
　　通过长达数月的实际测试，金蝶软件副总裁林峰获得的测试结论与招商银行惊人地相似。他向记者介绍，测试表明，通过Viper中行压缩技术，大部分表可节省一半以上存储空间，而最大最频繁使用的表甚至可压缩至原来的五分之一。而Viper对原生XML文档的支持，使XML作为一种内置的字段类型出现，有效帮助ERP系统解决了与设计、客户管理等软件数据互通与整合管理的问题。
　　IBM软件部中国区DB2信息管理技术经理刘晶炜坦承，作为一名技术经理，他对Viper的诸多新特性一度不以为然，但是与beta用户一起测试使用Viper之后，他对Viper充满了信心。刘晶炜认为，Viper不但会在海内外市场引起巨大影响，甚至会终结目前关系型数据库的市场统治地位，成为信息管理的革命者。
　　IBM公司信息管理部门总经理Janet Perna认为，Viper通过支持XML，实现对异构数据的管理，其意义不亚于从层次数据库到关系数据库的革命性转变。
　　是起点不是终点
　　王云在和记者谈论Ｖｉｐｅｒ的划时代意义时，形象地描述道：Ｖｉｐｅｒ的出现只是数据库技术发展的一个里程碑，它对ＸＭＬ的支持是数据库实现对异构数据管理的起点而不是终点。
　　“随着XML技术被广泛使用并作为数据交换的主要手段，一个不支持XML存储及查询的数据库系统将被淘汰。数据库系统与XML技术的结合是大势所趋，应用前景光明，并将对软件业产生深远影响。”中国科学院自动化所副研究员黄烈明这样明确表示。
　　Janet Perna也强调，提高对异构数据的处理能力，是下一代数据库所具备的一个基本功能，而XML则是解决这些复杂数据形式的关键。
　　因此，对XML的全面支持，几乎是所有数据库技术的重要研究方向，诸如关系数据XML转换、从XML批量载入数据、分享XML文档、将数据库对象发布成为基于XML的Web服务、成为Web服务的发布平台等。下一代数据库必须具备内部的XML高效存储机制以及复杂的查询异构数据的处理能力。
　　为此，几乎所有的数据库厂商都在推动产品对XML的支持。甲骨文在Oracle 10g中提供了对XML Query语言（XQuery）的支持，XML数据作为一个独立的方式存储在XML DB数据库中；微软的MS SQL Server 2005也表示支持原生XML和XQuery；Sybase则表示，其Sybase ASE可以将XML文档存储在text或Image列中，可以将XML映射到新的或已有的关系表中，可以从关系查询中创建XML格式的结果集。
　　但是在美国PureEdge公司市场副总裁Paul Chan眼中，通过层次型与关系型混合模式，Viper无须将异构数据强制转换成关系数据库可以处理的行/列格式就能管理异构数据。毕竟XML是树型的，是层次结构，而不是一张表。
　　Paul Chan表示，像Viper这样一款真正的混合数据库的魅力在于，用户可以采用SQL和Xquery请求来混合操作两种类型的数据。对原生XML的支持，让异构数据在数据库中获得了一种类似通用语言的支持。虽然大量异构数据最初并非XML格式，但是大多都可以被映射为XML格式。
　　正是基于这种观点，王云认为，通过XML技术，Viper可以管理人们身边80%以上的数据。与此同时，王云也一再强调，未来的信息管理将不再只是管理数据，而是渗透到与人们密切相关的所有信息中。Viper的诸多技术对未来信息管理来说只是一个起点，而IBM，也只是率先站在这个起跑线上。
　　
　　王云：支持原生ＸＭＬ的ＤＢ２ ９，是数据库技术向下一代数据库迈进的起点。
　　ＩＢＭ信息管理４０年风雨历程
　　１９６６：ＩＢＭ与客户北美洛克维尔公司和卡特彼勒公司开始合作开发数据库。
　　１９６８：ＩＢＭ在ＩＢＭ ３６０计算机上研制成功ＩＭＳ Ｖ１，这成为业界第一个层次型数据库管理系统。
　　１９７０：ＩＢＭ 公司的研究员 Ｅ．Ｆ．Ｃｏｄｄ 首次提出关系模型的概念。
　　１９７３：ＩＢＭ 研究中心启动Ｓｙｓｔｅｍ Ｒ 项目，为 ＤＢ２ 的问世打下良好的基础。
　　１９７４：ＩＢＭ 的研究员 Ｄｏｎ Ｃｈａｍｂｅｒｌｉｎ 和 Ｒａｙ Ｂｏｙｃｅ 提出 ＳＥＱＵＥＬ 语言，成为 ＳＱＬ 语言前身。
　　１９８２：ＩＢＭ 发布了 ＳＱＬ／ＤＳ ｆｏｒ ＶＳＥ ａｎｄ ＶＭ。这是业界第一个以 ＳＱＬ 作为接口的商用数据库管理系统。
　　１９８３：ＩＢＭ正式发布ＤＡＴＡＢＡＳＥ ２（ＤＢ２）ｆｏｒ ＭＶＳ（内部代号为“Ｅａｇｌｅ”）。
　　１９８８：ＩＤＵＧ（国际ＤＢ２用户组织）组织成立。这标志着 ＤＢ２ 的用户已经形成了相当的规模。
　　１９９３：ＩＢＭ 发布了ＤＢ２ ｆｏｒ ＯＳ／２ Ｖ１和ＤＢ２ ｆｏｒ ＲＳ／６０００ Ｖ１，ＤＢ２ 第一次在Ｉｎｔｅｌ 和Ｕｎｉｘ 平台上出现。
　　１９９４：ＩＢＭ 发布了运行在 ＲＳ／６０００ ＳＰ２ 上的 ＤＢ２ 并行版 Ｖ１，ＤＢ２ 从此有了能够适应大型数据仓库和复杂查询任务的可扩展架构。
　　１９９５：ＩＢＭ发布ＤＢ２ Ｃｏｍｍｏｎ Ｓｅｒｖｅｒ Ｖ２，这是第一个能够在多个平台上运行的对象—关系型数据库产品，并能够对 Ｗｅｂ 提供充分支持。
　　１９９６：ＩＢＭ发布了 Ｉｎｔｅｌｌｉｇｅｎｔ Ｍｉｎｅｒ，该产品可以对基于 ＤＢ２ 的数据源实施数据挖掘。
　　１９９６：ＩＢＭ将ＤＢ２更名为 ＤＢ２ 通用数据库（ＤＢ２ Ｕｎｉｖｅｒｓａｌ Ｄａｔａｂａｓｅ），这是第一个能够对多媒体和 Ｗｅｂ 进行支持的关系型数据库管理系统。
　　１９９８：ＩＢＭ发布了 ＤＢ２ ＯＬＡＰ Ｓｅｒｖｅｒ，这是一个基于 ＤＢ２ 的完整的 ＯＬＡＰ 解决方案。
　　１９９９：ＩＢＭ发布了 Ｉｎｔｅｌ 平台上的 ＤＢ２ ＵＤＢ ｆｏｒ Ｌｉｎｕｘ。
　　２０００：ＩＢＭ将Ｖｉｓｕａｌ Ｗａｒｅｈｏｕｓｅ集成到 ＤＢ２中，为ＤＢ２ 提供了内置的数据仓库管理功能。
　　２０００：ＩＢＭ启动了数据库管理工具业务，并最终将这项业务扩展到ＵＮＩＸ、Ｌｉｎｕｘ 和 Ｗｉｎｄｏｗｓ平台。
　　２００１：ＩＢＭ以１０亿美元收购了Ｉｎｆｏｒｍｉｘ 的数据库业务，扩大了ＩＢＭ的分布式数据库业务。
　　２００２：为 ＩＢＭ 自主运算策略的一部分，ＳＭＡＲＴ（自我管理和资源调节）技术在 ＤＢ２ ＵＤＢ Ｖ８．１ 中首次正式应用。
　　２００３：ＩＢＭ将数据管理产品更名为信息管理产品。
　　２００３：ＤＢ２ 发布ＤＢ２ Ｉｎｆｏｒｍａｔｉｏｎ Ｉｎｔｅｇｒａｔｏｒ。
　　２００４：ＩＢＭ发布了ＩＩ与ＤＢ２的下一个版本Ｍａｓａｌａ与Ｓｔｉｎｇｅｒ，加强了数据智能分析、挖掘、预测能力。
　　２００５：ＩＢＭ发布了“绿色风暴”计划，正式推出应用开发商网络和数据库精英人才培养计划。
　　２００６：ＩＢＭ独家赞助“２００６中国首届杰出数据库工程师评选”活动，表明ＩＢＭ正在履行帮助中国数据库人才成长的承诺。
　　２００６：ＤＢ２ ９作为第三代数据库的革命性产品正式在全球发布。