一、数据管理的历史
有人说，数据管理的需求始于1890年代，当时，机械打孔卡将信息（数据）记录在厚卡上。但是直到1960年代，数据管理的概念才得到广泛讨论，那时数据处理服务组织协会（ADPSO）开始为专业人员提供数据管理建议。
我们今天所知道的数据管理系统直到1970年代才普遍使用。这些数据管理系统严格运行。他们提供了给定时间点的业务运营记录（报告），这些记录是从关系数据库中提取的，该数据库将信息存储在行和列中（通常是数据仓库）。
●批处理以及提取，转换，加载（ETL）。
●结构化查询语言（SQL）和关系数据库管理系统（RDBMS）。
●不仅限于SQL（NoSQL）和非关系数据库。
●企业数据仓库，数据湖和数据结构。
●数据联合和虚拟化。
●数据目录，元数据管理和数据血缘。
●云计算和事件流处理（数据流）。
大多数企业必须管理大量信息和计算机资源。这需要有效的管理计划。数据管理是用于组织内管理数据的策略。一个好的计划应该基于信息管理的四个关键要素—所有权，安全性，保留策略和增强策略。然而，掌管您的数据需要处理各种各样的数据管理概念，技术和流程。
数据管理通常包括用于保护公司数据资产的安全性。这些步骤取决于要维护的数据类型。数据安全策略通常将包括访问控制，加密过程和保留策略。
数据保留策略是管理数据销毁前应管理和保存的时间长度的规则。这些规则因使用数据的公司和部门而异。数据管理策略定义了公司的保留要求。对于金融机构和执法机构来说，这种保留要求非常广泛，因为金融机构和执法机构需要数十年来管理数据。
数据管理还包括授予和管理计算机程序密码。这些是围绕组织数据的所有权和治理规则。该过程定义了个人如何获取数据。这通常包括正式程序和审查程序。
数据访问控制应包括离职员工的程序。员工离职时，需要执行删除访问流程。数据安全程序应包括审核步骤，以确保离职员工无法访问公司的敏感数据。
过时或不可靠的数据会导致错误和失误。然而，许多组织不信任其数据的质量。了解数据质量的关键特征，为何如此重要以及如何解决数据质量难题。
当今的数据海量要求关键的治理决策。跨企业收集，管理和存储数据的总体方法可帮助您与不断变化的技术，趋势和法规保持同步。
想知道如何建立世界一流的分析组织？确保信息可靠。授权数据驱动的决策。制定策略。并且知道如何从数据中获取价值的最后一公里。
想象一下，如果业务用户可以在不依赖IT的情况下准备数据进行分析的结果–不需要任何编码或特殊技能。数据准备使业务用户可以自己访问，清理，分析和转换数据。
数据管理为所有行业中每个成功组织的流程提供动力。有了更多数据并更容易访问分析，就可以抓住更多机会，提出更多问题并解决更多问题。了解世界各地的行业如何使用数据管理来实现其目标。
要了解客户并适当响应期望，就需要对所有数据（无论是流数据，基于云还是存储在数据湖或仓库中）进行准确，最新的查看。从营销到商品销售再到客户，可靠的数据管理对于掌管零售数据至关重要。
在制造业中，没有什么比质量更能说明成功。借助可靠的数据管理和数据质量技术，制造商可以有效地管理产品库存，并集成来自所有来源的结构化和非结构化数据，从而获得企业的绩效视图，获得更好的结果并制定明智的业务决策。
围绕数据隐私，合规性和数字化的问题比以往任何时候都更需要银行拥有可信赖的数据基础。只有对所有数据进行完整，集成的查看，以及质量，治理和个人数据保护的可靠技术，银行才能赢得客户的信任，并进行前瞻性的数字化转型。
企业数据管理是医疗保健行业中必需的。业界希望能够集成来自所有格式和来源的数据（包括来自组织外部的数据），同时发现重复数据，解决数据质量问题并遵守严格的法规和合规性要求以保护个人数据和隐私。
地方和国家政府负责各种服务和计划。可靠的数据管理技术支持所有这些工作-从打击欺诈和不正当付款到确保公民安全，再到监督人口健康，经济发展和智慧城市计划。
随着中小型企业朝着数字化转型的方向努力，他们需要实施数据驱动的业务模型并使旧版IT现代化，以便与大型同行竞争。到达那里的一种方法是使用可满足小型企业需求的可靠数据管理技术。
只要企业收集了数据，他们就必须对其进行管理，以避免出现“垃圾入，垃圾出”的难题。随着数据量，类型和来源的猛增，实时处理数据的需求不断增长-迫切需要妥善管理数据，这仍然是企业成功的重中之重。
1.数据获取
数据获取是从任何源访问或检索信息的能力，无论它存储在哪里。
它为什么如此重要
重要数据驻留在许多地方–文本文件，数据库，电子邮件，数据湖，网页和社交媒体源。良好的访问技术使您可以从任何可用的数据存储机制或格式中提取有用的数据，因此您可以花更多的时间使用这些数据-而不仅仅是尝试查找它。
数据集成（DI）是将不同类型的数据进行组合以呈现统一结果的过程。
它为什么如此重要
数据集成创建混合的数据组合，这在制定决策时非常有用。由于集成的数据包含多个单独数据集的元素，因此可以揭示新的见解并帮助您回答不同的问题。
数据质量是确保数据准确且可用于其预期目的的一种做法。这从数据访问开始，一直到与其他数据的各种集成将一直继续。
它为什么如此重要？
不良的数据质量可能导致代价高昂的错误。过时，不可靠，不完整或不适合其预期目的的数据将不被信任，从而导致整个组织出现问题。可以以自动化，一致的方式进行标准化，解析和验证的数据质量解决方案可以降低这些风险。
数据治理是人员、策略、流程和技术的框架，这些框架定义了如何管理组织的数据。
它为什么如此重要
治理通常是由遵守CECL或GDPR等法规的需求驱动的。通过管理策略，您可以定义用户可以访问哪些数据，谁可以更改（相对于视图）数据以及如何处理异常。数据治理工具可帮助您控制和管理规则，跟踪规则的处理方式以及为审核提供报告。
使用业务术语表来设置数据定义和所有者，集成工作流和标记问题，并可视化沿袭和关系。数据沿袭跟踪关键细节和元数据时，会跟踪数据从其原始位置到当前的路径。
它为什么如此重要
这些工具一起工作，有助于促进协作并使业务和IT保持一致。收到潜在问题的通知后，您可以及早解决这些问题，以免造成更大的问题。您还可以使用这些工具探索数据关系并进行影响分析。
数据准备是为分析准备数据的任务。它涉及合并来自各种来源的数据，然后对其进行清理和转型。
它为什么如此重要
好的模型取决于好的数据准备。但这是一项耗时的任务。优秀的数据准备工具可以显示出闪亮的干净数据并增加价值-数据专业人员可以出于任何分析目的快速访问，清理，转换和构建数据。结果：更高的生产率，更好的决策和更大的敏捷性。
这种方法使用人工智能或机器学习技术来使诸如数据质量，元数据管理和数据集成之类的过程能够自我配置和自我调整。例如，使用AI技术可以：
●生成有关如何改善数据的建议列表。
●随着时间的流逝采取的行动将继续改善结果。
●剖析数据并自动查找个人信息，可以将其标记为影响行为-例如仅允许指定的用户访问表中的个人数据。
●建议数据转换，然后使用机器学习建议随着时间的推移进行改进–通过分析数据和元数据的发现引擎完成。
●在数据准备过程中向用户提供建议并提出最佳建议。
人工智能（AI）和机器学习（ML）的数据管理。许多业务流程都依赖AI，这是培训系统的科学，可以通过学习和自动化来模仿人工任务。例如，人工智能和机器学习技术通常用于制定贷款和信贷决策，医疗诊断和零售报价。使用AI和ML，拥有您理解和信任的管理良好的数据比以往任何时候都更加重要–因为如果不良数据馈送的算法根据其所学知识进行调整，那么错误就会迅速成倍增长。
物联网（IoT）的数据管理。来自IoT设备中嵌入的传感器的数据通常称为流数据。数据流或事件流处理涉及动态分析实时数据。这是通过对数据应用逻辑，识别数据中的模式并将其过滤以用于多种用途而实现的。欺诈检测，网络监控，电子商务和风险管理是这些技术的流行应用。
双向元数据管理。双向元数据管理在不同系统之间共享和连接元数据。例如，通过参与OPDi Egeria项目来成为开放元数据社区的一部分，这突显了对元数据标准的需求，以促进跨各种技术环境的负责任的数据交换。
●数据结构和语义层。数据结构一词描述了组织的多样化数据格局-在其中使用各种方法来管理，处理，存储和分析大量和类型的数据。语义层在数据结构中起着重要的作用。像业务词汇表一样，语义层是一种将数据链接到整个组织中使用的通用定义的业务术语的方式。
数据管理和开源。开源是指这样的计算程序或基础结构，其中源代码可公开获得以供用户社区使用和修改。使用开源可以加快开发工作并降低成本。如果数据专业人员可以在他们选择的编程语言和环境中工作，他们就能蓬勃发展。
数据联合/虚拟化。数据联合是一种特殊的虚拟数据集成，它使您可以查看来自多个源的组合数据，而无需在新位置移动和存储组合视图。因此，您可以在请求时完全访问组合数据。与在某个时间点显示快照的ETL和ELT工具不同，数据联合会根据请求时数据源的外观生成结果。这样可以更及时，更准确地查看信息。
联系客服
