打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
在线直播

  各位领导,各位来宾,各位专家下午好,我是来自于华为公司的陈占林,今天跟大家分享的题目是大数据与云计算的实践。大数据和云计算其实这两个概念,或者这两个词大家都非常的耳熟能详了。我认为其实大数据和云计算应该是硬币的两面,它俩是相辅相成的。大数据对树立的处理,对数据的分析,目前来看,完全依赖于分布式计算和分布式存储,分布式计算和分布式存储是云计算非常典型的技术。云计算我们现在所有的供应系统都是供应在云端,也是起到对数据汇聚的作用,最终会在云端形成一个大数据非常海量的资源池。这一块云计算的核心其实也可以归结为它最终也是一个对海量数据这样的一个采集、存储和处理,归根到底它也是一个大数据。


  有很多观点认为,2013年是整个一个大数据的元年,特别是随着互联网、移动互联网、物联网的发展,大数据这个词谈的越来越比较多,比较火。其实大数据从2003年谷歌发的那三篇文章已经奠定了大数据的圆形,和现在Hadoop最底层,最基础的技术,完全是依赖与,完全是依赖于谷歌的三篇文章。这个肯定是以后IT系统或者或者CT系统的核心。特别是在整个ICT逐渐走向融合的趋势下,这个数据可能会作为一个IT系统的节点,有CT系统汇聚的节点,最终都会汇聚成一个大海一样,把所有数据都汇聚到大数据这个中心,或者大数据这个海洋,这一块可能会产生一些新的有价值的东西。从我们2012到2013年,大家都在做一些大数据的探索。除了运营商以外,各个行业也在大数据做一些尝试和探索,特别是在互联网行业,像国内的电商代表阿里,它的数据其实有两个核心的特征,第一、它知道所有的用户行为,就是你在阿里网站上搜索过什么东西,你对什么东西感兴趣,他会知道。


  另外它对所有商家的信任度,交易情况,它有一个非常详实的记录,这样它拿这两个数据作为一个大数据分析,它从成千上百万的商家里面甄选出来大概100多万中小商家,它对中小商家发放阿里贷款,这是阿里小额金融贷款,这种业务大概到2013年的2月份已经发放300多亿,其实非常下,它的受众是13我多万中小企业,最终每个企业可能就几万块钱的贷款,它的贷款周期很短,但是坏账率是0.03%,这说明阿里是通过大数据的分析,产生一个新的业务,就是阿里小额金融贷款的业务,所以,大数据这一块已经从互联网行业来看,已经产生了一个非常有价值的东西,也产生一些新的业务。包括其他行业,包括医疗、政企、零售,企事业都在尝试做大数据,对它内部经营,形成精准营销的效率,包括一些数据变现的工作都在做一些尝试。


  我们可以把整个产业分成这么四个角色,最上边就是数据服务潜在的消费者,包括政府、个人、企业和一些中小企业。他们会是一个数据服务的潜在的消费者。下边就是一些技术提供者,包括传统的IT、CT厂商,像华为、惠普、IBM,他们提供基本的服务,比如硬件、软件。中间是数据的拥有者,这一块我们可以分成三个大角色,第一个是运营商,是建设运营管道,管道的数据是非常多,如果把管道的数据提取出也是非常有价值的。后面还会对运营商数据的特征有一个简单的分析。


  第二类是数据应用,就是互联网的一些,像OTT厂商,像阿里、百度,特别是包括像新浪微博,他们都有自己的数据,他们自己的数据也有自己的特征。还有一类是行业的,包括电力、金融,这一类都是属于数据拥有者。右上角是数据提供者,包括传统的公司,像埃森哲等,他们从传统模式,包括也会部署一些新的数据,他们主要通过卖数据,卖报告。未来可能是数据提供者和数据拥有者可能会有更多的合作,单独或者以合作的形式向数据服务,向消费者共同提供数据服务,这可能是未来的趋势。我们从硬件、软件和服务这三个层次来看,未来大数据服务和应用这块可能占比会达到60%以上。所以,数据和服务可能会占据整个产业的核心地位。


  回过头来看看什么叫大数据?其实各个公司,各个分支机构对大数据都有不同的理解,对于我们看来,从一个CTO角度来看,从一个IT系统,或者ICT建设的层面来看,大数据可能是企业面临的一个问题,因为我们数据量越来越大,数据属性越来越多,非结构化数据越来越多,这对于我们来讲,对于我们建设IT系统来讲,我们要处理更加多样的数据,我们未来企业的运营也是需要更加的实时,更加的精准,所以这一块我的IT系统的建设和我的投资,这个怎么来掌握这个比例,可能是我们CTO要考虑的第一个问题。第二个问题,大数据每比特数据的价格比原来的低了,我们通过什么样的手段,什么样的方法,把海量的数据,像从沙漠中淘钻石一样,怎么样用行之有效的方法把数据的价值提取出来,这是我们要面临的第二个问题。第三个问题,我这个数据不是短期的,存一个月,两个月半年,我可能要存一两年,或者三年,这块怎么样把我的数据作为一个企业的资产,未来可能是可以变现的资产,把这个数字资产能够长期管理起来,这也是我们要考虑的第三个问题。


  随着三个问题的产生,处理大数据,传统的方法可能会有比较大的差异,我们解决了三个点。第一、传统来讲,可能更多是以应用为中心,就是我先有一个需求,我这个系统应该具备什么功能,应该取什么样的数据,用什么样的处理方法,这是传统向下的一个过程。大数据时代,可能更多是我的数据有没有用,我现在可能还不知道,能不能产生潜在的价值,先存起来以后,然后通过学习,通过数据和数据之间的关联,数据和数据之间的聚合,通过这种学习以后,通过数据和数据之间这种关联、聚合这种预算然后产生一个新的价值,这可能是完全超出人类目前现在所能够想象的空间之外的这个价值,它有这样一个非常鲜明的特征。


  我总结一下,大数据的处理,大数据其实还是一个处理的过程,这一块它是一个处理海量跨域数据的一个过程。什么叫跨域数据,特别是针对三大运营商来讲,分网络域的数据,各种各样的信令,这种非结构化的数据比较多,网络测。还有IT测,比如像BSS,还有财务的,ERP的数据,大数据时代可能都要把这些数据融合在一块儿,现在全是烟囱式的架构,大数据时代可能要注意海量的跨域的数据,核心是用最有效的方法追求数据最大价值的过程。


  我们简单看一下各行各业,特别是看一下电信运营商,包括像电商的,搜索引擎这块数据的特征。从四个纬度来看,其实我们简单来说,各行各业的数据都有自己的特点,像根据我们说的阿里的数据,像电商的数据,他们有一个交易的数据,信任度的数据,这是他们鲜明的特征。电信运营商的数据,我觉得最有价值的可能是位置数据,大部分人都有手机,只要你手机开着,就可以从网络获取你的实时位置,这个信息对于运营商来讲可能是最宝贵的信息,最有价值的数据。还有一块是运营商的数据比较真实,我们可以实时的获取到用户的年龄和性别,这可能有很多互联网,OTT的东西。第三、我们有非常强的社交圈的属性,你跟谁打的电话,这块数据相对来讲是比较重要的。我们宏观来看,各个行业的数据其实有一定的互补性,我们认为未来大数据的发展可能是一个产业链的壮大,合作共赢应该是未来的趋势。


  对于大数据来讲,因为我们要存储海量的数据,我们的IT投资可能要增加,对于企业来讲到底有什么价值?简单从五个纬度来看。分成两类,第一类是大数据对内应用,第二类是对外的大数据服务。四边四个,包括实时决策,精准营销,运营效能提升,用户体验提升,可以认为是大数据对内的应用,针对企业内部,中间的大数据服务,可以通过各种各样的形式,比如通过卖数据,卖咨询报告,或者通过开放接口给第三方使用,把数据作为资产进行变现。


  华为作为一个传统的CT厂商,也是在IT领域做了一些很多的实践,我们结合IT和CT领域的经验,我们做了一个大数据FusionInsight方案的全景图,这块华为的大数据平台,大数据架构是一个开放式的架构,不是一个各层和各层之间也不是一个紧耦合的,是松耦合的,可以被任何一家企业集成到自己的IT系统上来,哪怕是一个部件也好,这都是OK的。除了这个产品以外,我们还逼供商业咨询,包括业务托管包括资源管理,这一类相应的服务。大数据是华为公司未来投入四大战略方向之一,未来将保持上千人规模的重点投入。


  我们看一下2013年华为在全球大概拓展了86个大数据的项目,其中39个已经交付了。这一块落后的项目就围绕商业智能、流量经营、客户关怀、精准营销,和大数据的基础设施,包括大数据数据中心的建设,还有网络运维,特别是一些新的领域和客户在进行联合创新新领域的开放。


  下面简单分享几个案例。第一个案例,在2012年开始,我们和沙特运营商Mobily做了一个基于大数据的精细化营销,进行智慧运营这样一个案例。从2010到2013年整个数据量有412%的增长,传统的是用DB数据库和Oracle数据库做的存储,他们吃不消了,我们用Hadoop支撑,做的还是不错。还有你做精准营销,一定要对客户有非常清晰的认识,我们使用大数据的分析这种挖掘数据以后,对用户的精准洞察提升了26%,我们在实现过程中,推销某一个品牌的手机,这个终端使渗透率比传统的办法提升了26%以上。还有因为现在有很多营销全是非实时的,可能分析了前一天的数据,我再做一个营销,不是很能满足企业的需求。现在是实时营销,我们也是采用流处理的技术,从传统的30秒一下缩短到2秒。


  那么,在2013年我们在天津移动私有云里面构建了一个大数据的系统,这也是满足了天津移动整个的存储详单,大家每天都使用APP,其实大家对自己的流量可能都会有怀疑,我没用多少,我流量怎么会这么多,具体消耗到哪儿了,如果打客服,可能一年以前,客户无法回答你,因为没有记录。这个数据量非常大,广东移动的用户比较多,大概每天可以达到几十个TB这个级别,如果用传统的数据处理方法,这个数据库根本存不了,即便下来,查询的时间会非常长,这一块也是我们用大数据这种体系架构,可以把查询时间,把所有的详单都存储起来,你在什么时间,用什么APP,上哪个网站,整个上网时长和流量是多少,可以清清楚楚都列出来,这也是非常有价值的。这个我们在去年也是构架了一个,当然现在还没有完成建完,去年建了100个基站,一个Hadoop的平台。


  还有菲律宾的PLDT构建大数据基础设施,提高IT运营效率。比如它只能存3个月的数据,更长数据存储不了,结合它现网的Oracle数据库,我们给它建立了一个分级存储的体系,下面比如一些详单,用基于Hadoop技术的平台集成起来。


  还有一个案例,我们正在上海做的,有一个联通的案例,这一块其实有一个核心概念,就是运营商最大的数据是位置数据,只要开着手机就知道你的位置,这就是在建站的基础上,再加一层数据价值的网格,根据这个区域可以构建一些非常有价值的一些业务。比如说我可以向这个区域推动一些比较高的广告,或者是把这些信息共享给像万达,像家乐福这些,给他们,他们可以根据这个信息来确定自己适不适合在这个位置再开一个分店。特别是对运营商自己来讲,4G建设成本也比较高,也是分阶段把这个网同一时间都铺出来,也是把高价值的区域建4G基站,这样可以把成本快速的收回来。我们就根据用户的行为,根据用户的流向,构建一个商业价值网格,然后根据这个网格再进行基站的选址。


  还有一个例子,就是银行这块,基于多元异构数据的自动机器学习的案例,主要是自动的机器学习的案例,会把整个客户自然人的信息,包括开户信息,产品信息,包括资产信息,负债信息,交易信息、接触信息,所有的信息汇聚到一块儿,然后自动对机器进行训练,通过机器再把客户的消费行为等,把所有的客户都甄别出来,和现有的系统做对比,通过自动的机器学习,它的效果比传统的效果要提升十几倍,效果还是不错。


  最后一个案例,我们在O领域跟Telenor  M-Care运营商做一个合作,与医疗行业价值客户合作的推出的移动医疗的服务,用户提供个性化的服务,这也是分享了华为在这方面的一些案例。大数据其实这个产业未来会非常巨大,大数据其实也是方兴未艾,华为也是有意愿和各行各业的合作伙伴,客户共同迎接大数据美好的未来!谢谢大家!


      
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
政府大数据服务,跑马圈地正当时
阿里为何要收购中兴软创?
中国领跑全球5G商用潮 催热海量物联与光通信产业)
华为郭平:5G下一阶段工作重点是什么?
如何看待任正非说5G只是小儿科?
数据中心大变革时代,华为引领了怎样的技术趋势?
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服