打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
阿里前大数据架构师:如何快速的成长为一名优秀大数据架构师

1、为什么需要构建数据架构

数据标准不一致(列名相同数据类型不同、列明相同数据类型相同长度不一、列名没有统一标准识别困难、列名定义不统一类型不一致长度不相同、中文名称相同英文缩写不同或英文缩写相同中文名称不同)

数据标准化管理提些(构建动态单词库,标准遵循度自动检测,标准自动应用,标准管理流程化,构建知识库基础内容,为大数据应用提供统一标准)

标准化管理实施成果,用语校验机制(申请、校验、标准知识库、检验结果报告)

标准对象的自动应用(基于底层知识库将逻辑数据模型转换成相应的物理模型,自动转化)

数据模型管理混乱(校验较差、逻辑结构不一样、反复增加相同表结构、表真正字段没有进行注释)——设计、校验、扩展

数据模型骨骼

数据模型优化方式(数据库参数优化10%、执行计划优化(hint)30%、索引和SQL优化50%、数据模型的优化80%);

SQL语句编写水平不高导致出现严重性能问题(对开发人员执行计划不熟悉);

上线之前的审计体系(与上线之前测试工作并行进行,抓去SQL及执行计划)

相对复杂的数据处理能力欠缺

数据质量查需要执行数据质量管理(质量标准及诊断对象定义、剖析、BR定义、数据质量诊断、数据质量改进);

2、如何构架数据架构

开发需求、应用架构、运维架构、技术规划-》数据架构、业务架构、技术架构、应用架构;

数据架构管理对象、数据架构管理流程、数据架构管理组织、管理系统(数据质量管理系统、配置管理系统);

数据架构各个角色及人员

数据架构部门的角色及工作(数据架构(构建数据架构、制定管理体系、标准化)、数据模型(概念、物理、逻辑模型设计、培训)、程序开发(开发技术支持、形状管理、编写核心SQL)、数据迁移(迁移技术支持)、测试及优化(TUNING、设计最优索引、提出问题解决方案))

3、数据架构管理体系

规范、政策、管理、标准管理、结构管理、审核及管理、企业信息系统;

人员培养、组织形成、工具采购、管理认同(上层关注度);

来自开发(设计争执)、运维(技术反对)、领导方面阻力(短期难以见成效);

数据架构是企业架构中的一个重要组成部分(开发、应用、技术、数据);

内部工作流程(需求登录、适当与需求进行技术讲解、适当了解模型、进行数据需求进行数据模型进行重新设计及变更、数据架构师进行模型审计与审批、自动生成DDL(DBA)、基于业务规则校验数据质量影响、数据错误分析及清洗、相关程序分析):人+规则+技术;

4、数据架构师成长

认知(定义、从事工作、能力、位置与职业生涯);

学习(途径、培训及书籍、经验学习、相关活动);

实战(理论落地、扩大影响里、星星之火),可从模型审计及SQL优化着手;

成熟(稳定数据架构在企业系统设计、开发、运维地位,形成四足鼎立);

学习技术(企业架构、数据质量管理、数据需求分析、数据标准化、数据建模、数据库设计及应用)

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
PPT:如何成为真正的数据架构师?(附下载)
数据架构师工具包
DoDAF架构框架及其应用—北达软资深EA专家麦苏嘉先生
谈谈对数据架构的几点认识
TOGAF架构能力框架
元数据驱动为服务架构
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服