一键处理One Click,标签化数据Data Profile……
在今天的Strata Hadoop World 首届北京会议上,阿里巴巴数据技术及产品部高级技术专家张磊抛出了两个非常新鲜的功能名词。
One Click、Data Profile这两个都是在阿里数据One Data体系内,为了高效率地开展数据研发工作而开发出来的功能模块。此前,课代表已经为大家介绍过两篇关于OneData的文章。(回复“OneData”获取过往笔记的推送)
阿里巴巴数据技术及产品部高级技术专家张磊
今天,课代表就把张磊在会议中的分享,摘录一些重点干货给大家。
在阿里内部,数据研发工作比大家想象中的还要繁杂得多。这主要是由阿里数据自身定位决定的。阿里数据定位于阿里集团的数据中台。
就数据资产而言,阿里数据实际上拥有了海量的各类业务数据,比如电商交易数据、支付数据、风险数据、视频数据、音乐数据、地理位置数据、物流数据……
体量庞大的数据,加上数据本身与业务的强相关势必会给数据研发工作带了极大的挑战:交付时间受限、发布上线频率高、运维任务众多、系统环境复杂。
面临这些挑战,除了加强工具建设并与研发流程打通等常规方法外,阿里数据还在数据处理上,探索出了一些能让研发更为高效的创新方法。
由于阿里数据拥有的数据体量实在难以估量,我们很难精确地说清楚到底拥有哪些数据、这些数据存储在哪里,如何使用它们等等。过去,数据研发人员在寻找数据、确认口径算法等工序上,花费了大量的人力和时间。
而Data Profile的出现,恰好解决了研发初期数据处理的繁杂困境,既节约了时间成本,同时也缩减了相当一部分人力资源。它的核心思路即是为纷繁复杂的数据建立一个脉络清晰的血缘图谱。通过图计算、标签传播算法等技术,系统化、自动化地对计算与存储平台上的数据进行打标、整理、归档。
形象地来看, Data Profile实际承担的是为元数据“画像”的任务。
就像我们可以为用户的网购行为打上不同的行为标签一样。如果我们也用同样的思维来看待数据本身,那么原本冷冰冰的僵硬数据,实际上也变得有血有肉、个性鲜明。
数据之间的个性化,除了应用场景的不同之外,实际上在数据的研发流程、保障登记、数据质量要求、安全等级、运维策略、告警设置上都会有差异。根据这种差异化, Data Profile开发出了四类标签。
1、基础标签:针对数据的存储情况、访问情况、安全等级等进行打标。
2、 数仓标签:针对数据是否是增量or全量、是否可再生、数据的生命周期来进行标签化处理。
3、业务标签:根据数据归属的主题域、归属产品线、业务类型为数据盖上不同的标签。
4、潜在标签:这类标签主要是为了说明数据潜在的应用场景,比如社交、媒体、广告、电商、金融等。
利用Data Profile,我们不仅可以节约研发人员的时间成本,同时对阿里内部的非研发人员来说,也可以更直观地理解数据,利用数据,从而提升数据的研发效率。
在OneData体系里,让数据研发更高效的工具还有OneClick。OneClick顾名思义,就是通过一键点击的方式,来提高数据研发的效率。目前OneClick主要覆盖的场景有两个:一是数据同步,另一个是存量数据日常维护。
<END>
阿里数据
让你了解数据在阿里的一点一滴
联系客服