网易大数据平台实践

做好大数据业务需要很多东西，比如你要有很好的想法，比如你的算法工程师要很厉害，懂得很多算法，但一个成功的大数据应用关键在于两点：有数据+快速改进。听上去很简单，但在实际开发过程中，还是面临很多问题：

• 数据孤岛的问题，你会发现你的数据散落在各个地方，可能在业务中，也可能在你服务器中的日志中，想用数据的时候找不到；还有一种情况是公司各个部门间的数据不共享；

  
  

• 数据资源缺乏管理，由于数据的规模很大，再加上人员的流动，没有一个人完全清楚所有数据表中每个指标的含义，导致数据的使用效果不好；

  
  

• 数据开发的门槛很高：首先是知识的门槛，专业的数据开发人员很难招到，他们要学习Hadoop、Spark等各种相关技术；另外，使用上也很麻烦，要把这些开源的东西放在一起，组成一个解决方案。

  
  

• 分析流程长，涉及的人员多，决策周期长。

网易的解决思路是一个中心，两个平台。一个中心是指数据资源中心，数据资源中心会集成所有有价值的数据，进行数据的融合和深加工，目的是打破各个产品的数据分界和壁垒，提高利用效率；两个平台分别是大数据管理与应用开发平台和数据分析平台。其中，应用开发平台会存储和管理整个公司级别的数据资源，提供高效、易用的大数据分析挖掘应用开发环境，提供大规模查询和计算能力；数据分析平台用来支撑产品分析与决策，产品营销推广。通过数据资源中心的建设，可以使得所有数据都在平台上，想用可以直接去用，降低了门槛。

【关键字回复推荐: 大数据 大数据平台 大数据规划】

整个大数据平台的建设思路主要是满足效率快的需求，仅用开源的Hadoop是不够的。把Hadoop引进来经过改造成为适合我们自己用的体系化的大数据平台。网易的产品以自用为主，先内部使用，定期向外部发布一个版本，部署上，由于很多时候涉及到企业信息安全，大多数时候都以私有化部署为主。久病成良医，丰富的实践经验是网易大数据与一些别的大数据服务商的重要区别，这也是一种优势。