关键词：数据化管理、大数据、高性能计算、人工智能、数据分析
这个系列，我们已经发了四篇文章。在前文中驱动企业转变到数据化管理不得不知道的事（一）驱动企业转变到数据化管理不得不知道的事（二）驱动企业转变到数据化管理不得不知道的事（三）驱动企业转变到数据化管理不得不知道的事（四），我们讲到了如何通过数据驱动业务发展，数据多，就一定能推驱动业务发展吗？有了数据分析团队，就一定能找出问题来吗？数据驱动业务的数据化管理误区，及数据化管理的思路。同时通过三个案例来解析了数据管理让传统房地产行业改头换面。
在第四篇文章中，我们还讲述了企业如何建立自己的大数据战略，如何考量大数据管理战略实施的可行性。本篇文章将是此系列的终结篇，在本文中我们将讲述驱动企业过渡到数据管理的实践方法。快来阅读吧！
大数据的安全和隐私持续令人担忧，推动数据立法，重视数据安全，用户行为管理和分析领域加速发展
大数据的安全令人担忧，立法和标准的推动势在必然。更多的安全事故实际上来自与各单位的内部环节。2017发生了很多业务问题都是内部员工所为，这在银行、证券的行业也是累见不鲜了。保监会发布的关于录音录屏的双录的文，也是针对行业内部数据安全和行为安全的一个规范。2018 预计在内部人员的安全行为管理的领域将有较大的发展。
可视化技术和工具提升的数据分析工具的易用性已然呈现疲态，基于数据高性能计算、业务图谱和知识图谱的数据管理成为热门应用场景
例如：随着某银行数据类平台与集市的优化与整合，加快了数据驱动的业务发展模式，并已基本完成智慧数据生态圈的基础雏形搭建工作，为进一步拓展信息化建设版图，更好地支持业务发展，某银行需要在数据可视化能力方面进行如下扩展：
1）综合报表平台需具备可视化大数据平台等非结构化数据库的服务能力，并在大数据量级、复杂数据计算等场景下提供更加优质服务；
2）根据报表服务含有固定时间区段监管报送、统计分析等特点，需进一步拓展报表计算引擎服务能力，为业务人员提供报表订阅服务、提升用户体验，降低源系统高峰压力；
3）大量计财条线经营单位考核报表由去年搭建的多维分析进行服务，目前存在查询效率较低、内部模型扩展成本较高等瓶颈问题，亟需通过架构重造等方式进行解决。
因此为进一步打通与智慧数据生态圈的一站式数据交互服务，为某银行业务人员提供更加优质的数据服务，满足银行统计分析、财务管理、营销服务、战略规划、监管报送等数据类应用需求，紧跟市场发展步伐，助力某银行发展，夯实某银行信息化建设，需建立智能化、可视化的大数据可视化与智能门户。
这个案例中，大数据可视化与智能门户系统架构就基于数据计算为核心的，架构如下图：
政府、金融、电信运营商和大型企业的大数据发展迅速，智能预测和决策会是应用的主要形式
例如，目前的数据中心普遍遇到下图所示的五大难题。这给智能的数据管理带来了不少困难。图中也给出了相关的解决方案。
大数据在行业中的应用还是会有一个逐步推进的过程，其中一个原因是会牵涉到既定的行业标准。例如在美国，大数据在医疗行业的应用就相对要慢一些。所以虽然大数据成为我们的国家战略，但这并不意味着每一个行业都该去做大数据分析。
大数据已在许多领域实现落地。例如：淘宝利用平台数据解读中国消费趋势和地区差异；出行类APP在拥塞的城市中为用户提供快速的车辆调度；从数据分析团队在奥巴马连任竞选中发挥巨大作用；AlphaGo在人机围棋大战中获胜等等。
大数据的失败案例：谷歌流感趋势近几年的预测结果并不尽如人意。
大数据的采集过程更多是生产经营等各类活动的未经处理的附属产品。传统的数据收集模式往往有比较规范的标准，数据的含义前后尽可能可比。
由于大数据收集的信息只是经营活动的附属产品，数据反映的信息可能只是总体的一部分，其他部分是缺失的。
人们关心的问题，而随着时间的变化而发生变化。
一些新的信息在时间推移中才能够出现。
例如，某银行有其所有用户的交易、游览和电话录音记录，如果将研究总体定义为“某银行的所有用户的浏览行为”，那么他的数据可以被看作研究总体；但是，如果研究总体是“国内所有用户的交易行为”，那么显然某银行的数据只是其中一部分；如果用某银行的数据来推断所有用户的交易行为，并预测用户行为趋势，显然存在先天不足。
高性能计算能力加速数据管理迈进实用门槛
国务院2015年9月发布的《促进大数据发展行动纲要》，这一顶层设计被视为解决政府数据开放共享不足、产业基础薄弱、缺乏统筹规划、创新应用领域不广等一系列问题的“抓手”。《纲要》提出，2017年底前形成跨部门数据资源共享共用格局；2018年底前建成国家政府数据统一开放平台，率先在信用、交通、医疗、卫生、就业、社保等重要领域实现公共数据资源合理适度向社会开放。
从此，大数据的游戏规则渐成体系，数据的开放，带来了各类创新应用的蓬勃发展，大数据就此快步的向实用阶段迈进，也带来了各企事业单位的数据管理之路的开拓。
基于大数据的创新应用纵深发展有几个阶段：
第一个阶段是基础数据服务；
第二个阶段是数据的场景化构建；
第三个阶段就是人工智能。
大数据下的数据管理的魅力在于场景化，而场景化需要考虑哪些因素：
数据横向维度和纵向颗粒度
在海量数据中，横向是维度数据覆盖范围，纵向是行业细分领域的数据数量，数据粒度是指数据仓库中数据的细化和综合程度。
数据的横向维度决定了企业在大数据领域从事的行业，和能利用这些数据做什么事；纵向的数据量决定了企业在进行数据深度挖掘的时候能不能获得有效的、有价值的数据。
基于数据的业务场景化
业务场景化往往建立在数据分析和业务分析之上，将业务需求同数据相结合，数据应用场景即刻呈现。
支持场景化的产品
只有真正符合客户需求、便于编码、直观、独立可维护的产品才能生存下来。
信息孤岛的打通是数据管理的基础
某些数据仅限于某个部门或者企业知晓和使用，如何改变这种现状？
信息孤岛出现有这么几个原因：
信息思维部门业务服务的。
一个单位内部，数据的收集整理都是服务于各部门自身的业务需要，于是会出现各部门在同一指标上内涵不同的状况。
部门的设立时间也不一致。
经济转型期，业务部门是慢慢成长起来的， A部门出现的时候，并不知道未来会有B，当B部门出现的时候，也并没有想到它的信息可能需要和A部门一起使用，这就容易出现部门之间的信息分隔。
度量本身是有难度的，因为经济活动非常复杂。
数据共享涉及环节较多，各环节的安全责任划分如果不清晰，数据共享也难以实现。
一些大型国有银行在做大数据战略的时候，首先就会制定统一的度量标准，从某个时刻开始，各部门对于同样的指标采取近似的定义。当然这些步骤的实施并不容易，因为有些绩效和这些度量结合在一起，统一标准未必对每个部门都有利。另外还需要制定一些数据的收集标准，这样各方整合数据才相对容易，对数据管理也更加有利。
不管是一个单位各部门之间，还是各个单位之间，数据的打通都非常需要专业的工具和人才。他们既要懂得数据内涵，又要能做打通部门数据壁垒工作，要知道目前不同标准之间的异同和做好数据格式的转换，哪些数据能够合并而哪些不能。
所以，在建立数据管理平台的过程中，做好数据的ETL，尤其是数据格式的转换是数据共享，打破信息孤岛的十分重要的环节和指标。
驱动企业过渡到数据管理实践的方法
得到高层支持
数据管理首先需要管理层支持，管理层100%支持是至关重要的，要使管理层在数据管理成功的初期就意识到了这一点：数据管理对业务的价值。
在实践中，基层组织可能需要努力做到早期的成功来确保管理层的支持。通常，要证明数据管理的价值，首先要由有灵活性和创新欲望的团队完成的一个概念验证项目。
但是，如果认为管理层支持是最早阶段的必需品，那么你可能永远无法开始。相反，要理解最终必须得到管理层支持。
从一个试点项目或概念验证项目开始
从小事开始，逐渐获得认可。请记住，在企业中实现大规模的变更是很困难的。除了打乱时间表和团队状态，这样的变化通常会放弃实现所需的输入，而不能满足他们的需求。这种方法还涉及到一定程度的复杂性，这可能会使整个过程瘫痪。
出于这些原因，应采取渐进的方法来实现数据管理实践，而不是大跃进的方法。成功的组织应该意识到，彻底的改变可能是非常困难的，而选择增量变更，使团队能够从经验上了解什么对他们最有效。
最可取的方法是使用一个实验性项目来实现和证明数据管理的概念。寻找相对较低的风险和高回报，并为预期结果设定明确的目标。然后，确定一个跨职能的生产人员团队来建立和测试用于数据管理的工具基础设施、流程和文化。
为过渡寻找示种子团队
随着测试项目的实施，在企业内部的一个团队必须有数据管理的转变。这个组可以是一个新的团队，甚至是一个现有的开发团队，他们有必要的文化和技术属性来推进数据管理。具体来说，团队应该是有能力的，创新的，协作的，不受临界生产计划的约束。
随着时间的推移，这个团队的需求将逐渐消失，因为企业的数据管理实践标准化了，而且更加普遍。因此，从一开始，就应说明团队本身是暂时的，只存在于发起和指导过渡。
交流成功和失败经验
在整个试点项目中，要加倍努力去识别和捕捉挫折和成功。开放的组织对新知识的学习和交流，不是仅仅局限在团队内部，而是整个组织。努力分享可量化的指标，以及更多的定性结果和观察。例如，更新团队的新成员信息，部分的自动化过程，或者是已经被采用的新工具。
随着时间的推移，成功与挫折的概率将会增加，持续的沟通将有助于建立在以后应对更大挑战所需的热情和激情。这也会导致其他人询问如何获得相同的结果，并使团队“拉动”创新的团队共享最佳实践，从而“推动”团队的变化。
跨团队扩展
有了一个成功的试点项目，并取得了一些胜利，下一步就是开始在其他开发团队中做工作。与其他的转变一样，这个跨团队的扩展过程最好以增量方式进行。随着单个团队接受训练并进入数据管理的迭代，继续改进工具、过程和文化，基于每个新团队的需求，以及从已经实施的团队获得新见解。
最后，需要注意的是，数据管理的转变从来没有完全完成。你可以采取一些步骤来进一步加速流程，提高自动化程度，缩短上市时间，即使在你的企业已经完全实现了最初的数据管理目标之后。
当我们做完了以上几步之后，如果最终验证这套体系是可行的，那么就可以考虑进行整个的数据产品化以及功能迭代。
润乾的数据采集与治理套件，让人眼前一亮
润乾的轻型大数据分析、数据采集与治理的解决方案包括：
润乾信息仓：数据展示、报表和钻取分析，解决报表慢， SQL/Java语句长，不容易差错等问题。
润乾云数据盘：分布式结构化、非结构化、文本、传感器网等数据采集
润乾应用集市优化解决方案：解决各类具体的应用的计算效率、计算稳定性等问题
润乾数据库解决方案：解决中间表单过多、数据库频繁扩容、计算速度慢等问题
润乾异构数据同步：不同数据库、异构数据、不同部署实例模式间同步
润乾数据计算平台：协助大数据平台，解决大数据平台的计算效率，节省存储等硬件投资等
润乾ETL数据管理一体化解决方案
润乾边缘计算：适合复杂、多级、分权分域的分布式布置
在这套解决方案中，润乾将实现大数据分析所不必可少的数据采集与初步清洗治理工作全部完成，相对于一般的数据备份、数据交换、业务分析，无论对于客户还是集成商、ISV、代理商等都具有更大的价值和商机。
润乾通过和合作伙伴的协同，将数据采集、数据备份、数据交换、ETL、应用集市、数据展示等，以及之后的增值市场做大。
过去很多集成商的解决方案往往将数据备份归档作为数据的终点，而对于润乾而言，这只是整体解决方案的起点！润乾帮助大家拓宽业务范围，提升业务层次，让伙伴一起更加热情地拥抱大数据市场。
在过去的很多项目中需要依靠Oracle、IBM及Informatica这样的公司产品来实现数据采集ETL与治理工作，成本非常高，且这些大公司的产品组件大多来自多个被收购的子公司，彼此整合沟通互操作也不十分方便。
随着现在国产化的需求越来越紧迫，更多的客户希望用国有知识产权的替代解决方案，润乾的这套解决方案符合如今的市场需求。相信随着国产化的进程以及大数据解决方案的普及化过程，润乾的解决方案将越来越受欢迎。
文末福利：
文中提及的案例和实践是基于华云数创、北京润乾、汇达商智、艺赛旗、众诚信通、云兴维智等公司的实践，并在近百家的ISV、集成商和客户的推动中的总结。华云数创携手汇达商智等企业致力于基于大数据平台上的数据管理、数据展现、数据分析、用户行为管理、AIops、大数据运维、呼叫中心升级等领域，有着很好的实践和教父能力。
各位看官有兴趣，可以联系“销盟”秘书处。
销盟在2018年将进一步秉承开放合作的精神，帮助盟内企业更好更快的拥抱大数据、拥抱人工智能等，帮助盟友获得更大的成功！
祝愿大家2018 成功！您的成功就是我们的幸福！
（全文终）
分享是一种美德，转载请注明来源和出处！
“相关文章阅读”
联系客服
