PPT | 2016年第一批大数据产品能力认证测试结果综述（图文实录）

  

“公众号”

可以订阅哦！

在2016大数据产业峰会大数据技术与产品创新分论坛上，中国信息通信研究院姜春宇发表《2016年第一批大数据产品能力认证测试结果综述》演讲，介绍了大数据产品能力认证的总体情况。

 

以下为图文实录，敬请阅读。

姜春宇：大家好，我今天演讲题目是《2016年第一批大数据产品能力认证测试结果综述》。

演讲内容分为两部分，第一部分是认证情况，第二部分是总结和下一步计划。

联盟标准从去年到今年有一定变化，去年测试组件集中在Hadoop平台上，主要是Mapreduce、HDFS、HBase、Hive、Mahout等，测试指标主要是性能，容错性、安全和运维。今年测试对象围绕Hadoop和Spark生态，把功能和性能分离，基础能力从以下七个维度来衡量——功能、运维、可用性、安全、兼容性、多租户和扩展性。

2016年的测试认证主要针对是商用Hadoop平台，包括Hadoop和Spark生态所有组件。本次大数据产品能力认证包括七项，共38项测试用例，有28个必测，选测项10个。必测项全部通过才能通过认证。测试环境由企业来提供，规定是10台左右物理机。测试时间从3月底到4月20日，在25日组织专家评审会，通过企业答辩和专家评审对测试结果进行论证。

整个测试有以下特点：一、从用户出发，建立全面客观的评价指标体系。指标项分为运维、可用性、功能、兼容性、安全、多租户和扩展性。标黄部分是选测项，非黄区域是必测项。必测项全部通过才能通过认证。

二、自愿参加、科学严谨、公开公正的认证流程。左边是认证流程，右边是评审流程。认证需要报名提交材料（包括软件组件列表、软件用户手册和软件著作权），准备测试环境，专家现场审核，给出测试结论。再组织参测企业对测试过程和测试结果进行答辩，，组织企业专家、客户专家和学术专家进行评审，对测试结论给出评审结论。对于通过评审的企业，颁发证书。

三、严格的审核方法。测试专家主要检查软件版本，包括检查组件版本和是否使用测试工具。数据检查，对数据量大小和副本数进行确定。物理机检查，检查10台左右的物理机。结果检查，每个测试会记录监测时间，对结果进行验证。留存关键jar包和脚本，方便结果的复现，检验测试合规性。

本次通过产品能力认证产品有6家——东方金信、明略、博易智软、杭州华三、星环信息、腾讯。

测试现场拍摄测试机器，测试人员的过程细节。下面汇报各家企业测试情况。

东方金信完成必测项28项，选测项10项完成了7项，标黄地方是没有参加测试。

明略完成28项必测，5项选测没有测。

博易完成28项必测，完成2项选测，8项选测没有测。

华三完成28项必测，8项选测，2项没有做。

星环完成28项必测和10项选测。

腾讯完成28项必测和10项选测。

从测试指标维度查看本次测试情况：

多租户有厂商已经做了，有厂商还没有做，技术各有不同。安全方面，在存储加密的实现略有差异，有基于通道加密的，有基于存储加密的，有基于外部应用加密的。身份认证、权限和审计实现基本都是通用技术。权限和审计是非常重要的方向点，能体现出各家厂商产品细致化程度。

功能完备性和细节、界面略有差别。

可用性前七项能力相当，没有太多突出。管理节点恢复和失效，是基于对自身考虑和对运维认识，有的是基于热切换，实现无感知切换，有得基于冷切换，有的还没有考虑。兼容性，ODBC、JDBC相对简单，传统数据库同步也不难。SQL支持度的策略也不同。东方金信、明略和星环完成支持99个语句，华三和腾讯选测了其中10个左右，博易没有做这方面测试。扩展方式，每家台数不一样，但都验证了扩展能力和集群收缩。

兼容性，ODBC、JDBC相对简单，传统数据库同步也不难。SQL支持度的策略也不同。东方金信、明略和星环完成支持99个语句，华三和腾讯选测了其中10个左右，博易没有做这方面测试。扩展方式，每家台数不一样，但都验证了扩展能力和集群收缩。

功能性上，基本都具备了导入SQL能力，NoSQL和机器处理能力，这一点差别不大。

总结和下一步计划。我总结了几个性质：

权威性。数据联盟联合了20多家大数据企业制定大数据产品评测标准。很多测试用例、功能项和点都是由企业方来提出，因为企业比更了解技术细节。

先进性。本次认证是业界第一次全面考察大数据商业化软件产品和平台综合能力活动。

全面性。有38个认证项目，覆盖了7个维度方向，全面考核产品能力情况。

 

严谨性。完善现场测试流程，包括后续评审过程，引入企业互评，客户专家和学术专家评审流程，现场严格检查组件、环境、流程、结果和文件，保证程序合规性。评审过程由三类专家构成，基于答辩过程和测试报告来给出测试结论。

这是我总结的四个要素。

本次认证对产业界有多重意义，首先，促进技术进步，通过标准制定和升级促进技术进步。其次，规范市场，通过认证筛选出优秀产品，为产业发展设立基本门槛。三、方便用户选型，将大数据产品的细节梳理后，以指标方式展现给用户，方便用户在过程中衡量技术选型。

衡量大数据产品平台至少有三个维度：一是功能完备性；二是性能；三是稳定性。联盟标准集中在功能完备性和性能上，因为稳定性相对难以评估。功能完备性方面有运维、应用性，SQL支持、权限和用户管理。多租户、日志管理和审计也是重要点。性能方面是两部分，一部分是产品本身性能优劣，另一方面是技术团队调优能力。

下一步计划，测试流程会逐步把通用脚本和测试工具自动化，固定下来。标准方面，如果参加测评，企业可以看到权限测试用例，未来会在权限方面进行统一管理。性能方面，6月份基础能力和性能会提供给大家，3月份和4月份的测试主要是基础能力。性能会以任务为导向，考虑混合任务、高并发场景。下半年会建立MPP数据库评测标准，未来整个大数据领域技术会走向融合，联盟也会考虑以任务和问题为导向，制定统一大数据平台的标准，推出相应的认证。在评审过程当中有评审专家提意见，在数据处理和整理过程也需要标准规范。

 

未来规划，大数据产品体系有底层基础平台、数据管理层和分析展现层三个层级目前联盟标准集中在产品基础平台层，围绕Hadoop、Spark、MPP等技术，未来会慢慢扩展到数据管理层。然后再到可视化、BI工具和分析工具。包括这些层级向云平台转化时的特性，都需要标准来规范。

2016年认证计划，5月4日到31日完善标准体系性能，上半年第二批基础能力认证和性能专项认证报名从5月20日到6月10日。6月到8月对报名企业做性能和基础能力认证测试，总时长3个月。8月31日召开评审会，9月份召开可信云大会，公布2016年第二批测试和认证结果。10月8日开始到12月底，下半年产品包括Hadoop、MPP数据库。

我的分享到此结束，感谢大家，谢谢！