第八章主要讨论数据集成与互操作性相关的基本概念、活动、工具和技术、实施指南和度量。下面,对相关知识点逐一说明。
数据集成与互操作性,描述了与数据存储、应用程序和组织内外部间的数据共享与分发的相关过程。
数据集成是(无论是物理,还是虚拟的)将数据整合,获得一致形式。
数据互操作性,用于多系统间的通信。
支持组织基本数据管理功能,如下:
1.数据迁移和数据转换
2.数据归并到数据集成或数据集市
3.外部供应商数据集成到组织应用组织中
4.应用程序间和跨组织间的数据共享
5.跨数据存储和数据中心的数据交换
6.数据归档
7.数据接口管理
8.外部数据获取和捕获
9.结构化和非结构化数据集成
10.数据集成提供商务智能和管理决策支撑
数据集成和互操作性对于数据仓库和商务智能以及参考数据和主数据管理至关重要,数据集成过程中将数据从源系统数据转换和数据集成到数据HUB整合,以及HUB集成到目标系统的转换,直至交付给系统或数据消费者。
数据集成和互操作性作为大数据管理领域中的核心,目的在于集成各类数据,包括数据库中结构化数据、文档或文件的非结构化文本数据、媒体、音频、视频和流数据等,通过数据挖掘集成数据,用于预测型模型开发和组织运营决策等。
1.数据治理,用于管理转换规则和数据规范
2.数据架构,用于设计解决方案
3.数据安全,确保解决方案满足数据安全性,逻辑数据与应用程序、组织间的交互
4.元数据,用于跟踪数据的技术清单,包括数据的业务含义、转换的业务数据规则,以及数据操作的沿袭和血缘分析
5.数据存储和操作,用于管理物理实体化数据解决方案
6.数据建模和设计,用于设计数据模型、包括持久化的物理数据库、逻辑数据模型,以及应用程序和组织之间的数据交互
1.大多数组织拥有大量的数据库和存储的数据,因此如何管理组织内存储的数据,以及组织间的数据流转成为核心任务。如:从软件供应商购买的应用程序,扩展了组织数据集成与互操作性的需求,每个应用程序都有独立的主数据、事务数据和分析报告数据,这些数据需要与组织的其他数据集成,即便是企业资源计划ERP,也很少涵盖组织内所有数据,需要将这些数据有机的集成在一起。
2.组织构建数据集成的原因是,管理复杂度和数据复杂性带来的相关成本增加。与分布式、点对点等解决方案相比,数据集成更为有效和高效。
3.企业级的数据中心(如:数据仓库、主数据解决方案)通过整合应用系统数据,提供一致性的统一的数据视图,可以缓解数据复杂度问题。同样,应用数据集成技术(如:集中式集成、消息模型规范)可以简化组织内数据共享操作和事务数据的复杂性。
1.由于存在多种的数据流转技术实现方式,每种技术都需要特定的开发和维护,导致成本增加。
2.DII标准工具可以减少和优化成本,提高工作效率,降低接口管理复杂度和接口维护成本,使资源更有效部署。
3.DII支持系统的代码重构和合规性验证,支持且遵从组织数据处理标准和法规规范性要求。
1.从数据使用者(人员/系统)角度提供数据所需格式、范围和时间
2.将数据物理存储和虚拟存储合并到数据中心
3.通过数据共享接口开发,降低数据管理复杂度和成本
4.针对事件识别(机会/威胁),自动触发报警和操作
5.支持主数据管理、商务智能、数据分析和数据操作工作效率
1.设计中采用组织整体视角,通过迭代和增量交付,以确保实现未来的可扩展性
2.通过平衡支持和维护,属地化数据需求和组织整体数据。
3.确保数据集成和互操作性的业务相关性,业务专家参与数据转换规则的设计、修改。
ETL(提取、转化和加载)的基本过程是数据集成与互操作性的核心。无论是物理数据库、数据逻辑处理、批量数据处理、实时数据处理等,这些都是在应用系统和组织间实现数据的流转。可以根据数据集成需求,ETL可以作为定时事件调度(批处理)或有新的或有更新时的数据(实时事件驱动)的执行操作。数据集成规范应确定提取和转换的数据的物理存储位置,对物理存储的分段结构进行审计和跟踪。对于低延时下的数据集成需求,通常是不包含中间数据的物理分段的结果数据。
1.提取,选择所需的数据,从源头提取出来,通过磁盘或内存数据库暂存,临时数据存储可以与源数据存储或目标数据存储共同定位于同一个存储位置。
2.转换,选择数据与目标数据结构的差距。转换涉及从源数据流转到目标情况下的处理,数据会根据不同的事件触发情况,被复制成多个目标,但不作为持久处理,可以批量或实时执行转换处理,将结果存储在暂存区域中,或者转换后直接存储在准备移动的加载步骤。转换阶段产生的数据,应做好与目标结构的数据集成。转换的例子有:格式更改、结构变化、语义转换、重复数据删除、重新排序。
3.加载,在目标系统中的物理存储、呈现转换的结果。根据目标系统实现目的和预期用途执行的转换,数据需要进一步处理与其他数据的集成,或者作为最终的形式呈现给消费者。
4.ELT(提取、加载、转换),目标系统具有比数据源、中间数据应用更多的转换能力,可以切换为ELT。
5.映射,从源数据库到目标数据库的查询过程开发和过程结果。映射需要定义提取的数据源、数据规则提取标识、预期加载的目标,用于标识更新目标规则,所涉及到的转换规则。
源系统中数据生成与目标系统数据可用的时间间隔,不同的数据处理方式导致不同程度的数据延迟。延迟可以是高(批量处理)或低(事件驱动)到非常低(实时/近实时,同步)。
1.通过定期计划自动实现数据集的移动,表示给定的时间点的完整数据集的获取。
2.涉及数据的更新,通常对更改后的数据集,按照时间点形成快照。
3.批量数据的解决方案会存在明显的延迟,对于处理大量的数据是十分有用的,常用于数据仓库的数据集成解决方案。
4.为实现高效处理和降低延时,数据集成方案会使用微批处理,调整批处理运行效率,如:分钟级采集。
5.批量数据集成用在数据转换、迁移和归档,以及数据仓库、数据集市的提取和加载,为较大限度减少对应用系统的影响,建议在夜间或非工作日,安排和制定数据迁移到数据仓库的作业。
通过规则过滤采集数据的方法,包括在规定的时间范围对已变更的数据监控、捕获更改(插入、更改、删除)的数据集,然后,以增量方式使用该数据,过程中可以通过应用标识、时间戳标识符标记数据。
基于变更数据捕获的三种技术:
1.源系统填充特定的数据元素。如:时间戳、代码、标记、指示符,提取过程使用规则来标识要提取的行。
2.源系统在变更数据时,添加简单的对象和标识符列表,然后控制数据的选择以用于提取。
3.源系统对已变更复制的数据作为事务的一部分进行单独对象处理,然后将其用于提取处理,该对象不需要存储在数据库中。
以上三种类型,由于对源应用系统中内置功能,从资源密集型角度会影响应用系统性能,且需要修改源系统,在基于日志的数据捕获中,将复制和处理工作,通过数据库系统创建的数据日志,查找特定的更改,然后将这些变更转换且应用于目标数据库。
1.大多数非批量数据集成解决方案会应用近实时和事件驱动的解决方案。
2.数据通过时间计划较小粒度的集合处理,或者以事件触发的形式处理数据,如数据更新。
3.近实时处理具有比批处理更低的延迟,通常使用企业服务总线实现。
4.目标数据应用加载过程中必须监控数据状态和依赖关系,进而保证目标数据构建正确的顺序和获得正确的结果。如:目标数据应用主数据构建的事务之前,应首先处理好主数据或维度数据。
1.异步传输过程中,提供数据的系统与接收数据的系统存在发送数据和接受数据的“脱机”状态。
2.由于异步数据更新的不及时,因此作为近实时调用集成。在源数据中进行更新与近实时场景中继到目标数据集之间的延迟以(秒/分钟)来度量。
3.好处在于,目标数据应用不依赖于源应用程序,异步数据集成不会影响源端的维护、操作和处理。
1.源数据和目标数据之间没有时间延迟,保证当前一个数据集与另一个数据集完全同步一致,则必须应用实时同步解决方案。
2.数据集通过数据库功能保持同步,确保业务事务所有处于更新成功状态。
1.低延时解决方案,是组织对于性能方面的迫切需求,需要大量的硬件和软件投入。
2.低延时数据集成解决方案,最大限度的缩短事件响应时间。如:固态硬盘、内存数据库等解决方案,
3.流数据从计算机系统中实时、连续地流转,数据流处理应用于金融证券、购买商品、实时监控、温度或传感器等事件。
1.复制,最大限度地降低分析和查询对事务操作环境性能的影响,同步且形成物理数据集副本。
2.复制解决方案,通常监视数据变更日志,而不是数据本身。
3.最大限度的减少与应用程序的操作影响,不与应用程序竞争访问数据集。当数据日志发生变更时,数据复制副本进行传递。
4.标准的复制解决方案几乎是实时性的,即数据集的变更与另一个副本之间,只存在较小的延迟。
5.通常情况下,源数据集合目标数据集保持一致是最佳装填,但是,当源数据集与目标数据集存在差异,最终的目标不作为精准的数据集副本时,必须维护一个临时区域,以存储和容纳精准数据集的副本。
6.需要注意的是,当数据来源为多点复制,如果两个点同时维护一条数据,则数据同步可能存在未同步风险,则数据可能在未获得提示情况下更改,这里数据复制不是最佳的解决方案。
1.不经常使用的数据可以移动到成本较低的备用存储的解决方案。
2.ETL可以将归档数据转换到归档的数据存储中,优化生产数据库环境,提高运行效率。
3.监控,是归档技术中的重要的环节,确保数据的可访问性,对归档数据的技术、格式,以及法律要求等。
1.组织实施数据交换的通用模型,用于共享数据的标准化。
2.集中式数据共享交换模型,提供与组织公共或通用信息格式规范的数据发送或接受的数据转换。数据共享交换标准模型限制数据交换系统、次数、格式等,每个系统都需要将数据转换符合组织公共数据共享交换规范模型。
3.数据共享交换模型可以降低组织数据互操作性的复杂度,降低运维和支持成本。
4.构建和管理通用的数据共享交换模型是实现组织集中式数据集成解决方案的关键项。
交互模型,系统间建立数据传输的连接方法。
1.点对点,系统间的共享数据,绝大多数的实现方式是“点对点”,直接将数据传递给对方。但是当许多系统需要来至相同数据来源的时候,就会变得低效。如:数据处理的影响(源系统的可操作,提供数据会影响数据处理)、接口管理(点对点交互,数据接口数量为S的2次方)、不一致(多系统不同版本或格式数据的问题)
2.集中式,以中心方式提供共享数据整合到多个应用系统中。主数据管理和核心运营数据是数据仓库、数据集市典型的数据为中心应用示例。HUB提供统一的数据视图,最大限度降低访问数据源和数据提取数量,降低对源系统的影响。企业服务总线ESB,用于许多系统间近实时的共享数据解决方案,HUB是组织共享数据规范模型,提供标准的数据集成格式规范。
3.发布与订阅,是将数据推送或接入提供发布和订阅的系统。提供的数据通常在组织的数据服务目录中,发布时,数据会自动发送给订阅者,多个数据消费者需要某种数据、某种格式的时候,需要根据数据开发需求,提供数据服务,应确保数据集的一致性。
1.耦合,描述了两个系统的交织程度,
2.紧耦合,系统的紧密耦合通常具有同步接口,一个系统等待另一个系统的响应。紧耦合代表较高的风险,如果一个系统不可用,事实上两个系统都不可用,这里需要保持业务连续性计划的同步性。
3.松耦合,是首选的接口设计实现方式,数据在系统间传递不依赖于另外一个系统,可以通过服务、API或消息队列技术来实现耦合。
4.企业服务总线是面向服务体系结构的松耦合的数据交互技术实现模式。
系统的松耦合情况下,无需重写与系统交互的关系,执行应用程序清单中的系统交互,即:对交互点的明确定义。
1.业务流程,描述如何在系统中组织和执行多个业务活动。处理系统的消息、数据包,能够管理这些进程的执行顺序,以保持一致性和连续性。
2.过程控制,确保数据被完整且正确的提取、转换、装载和流转交付的组件。数据架构中数据流转经常被忽视的方面有:数据库活动日志、批处理作业日志、报警、异常日志、作业时间等
软件模块通过定义良好的接口API相互交互,数据由自身应用程序模块提供更新,其他应用程序无法访问该数据,只能通过API方式访问。EAI强调面向对象的组件模块的复用,对组件的更新不影响其他模块的能力。
充当系统的消息传递的中间件的一个系统,可以通过ESB发送和接受消息或文件,通过ESB封装其他进程。松耦合示例中,充当应用程序间的桥梁服务。
1.通过应用程序之间的良好的服务定义,来提供数据和更新数据或其他数据服务的功能。
2.面向服务体系结构的目标是软件模块间能够进行明确的交互定义,每个模块执行与其他模块的消费者的功能,即提供服务。SOA体系结构的关键概念是提供独立的服务,服务的实现是黑盒子,技术实现方面有:WEB服务、消息传递、RESTful API等。
3.数据服务可以包括新增、删除、更新和检索,通过服务目录对外提供,实现企业可扩展性和复用性,其治理模型围绕API的注册和服务构建。
1.事件处理,一种对事件提供跟踪和分析的信息流的方法,CEP是针对多个数据来源,识别关键事件,以预测和触发实时事件的响应。通过规则设置来指导事件的处理和调度。
2.组织通过复杂的事件处理,预测行为或活动,且自动触发实时响应,当测量值超过预定义的时间、温度或其他阈值时,事件被定义为状态的改变。如:销售线索、网络点击、订单、客户电话、交通情况、股票市场的数据。
3.CEP引擎支持复杂事件处理需要一个可以集成各类数据的大数据环境,因此创建预测通常涉及大量与复杂事件相关的数据关联,需要低延时数据处理要求,如:实时流数据、内存数据库等。
1.数据集成,数据存在于不同的数据存储中,需要以物理集成的方式组合在一起。无论结构如何数据集成都可以访问各个数据存储。
2.数据虚拟化,分布式数据库以及多个异构数据存储可以作为单个数据库进行访问。
1.软件即服务SaaS,一种交付和许可模式。以应用程序被许可提供服务,软件和数据由软件供应商控制的数据中心,提供类似基于计算基础架构IT即服务、平台即服务、数据库即服务,而不是作为被许可的数据中心。
2.数据即服务DaaS,从许可供应商按需提供的数据,而不是数据中心的存储和维护。数据供应商作为行业利益相关者提供销售数据服务,这种“服务”以功能或操作系统提供企业数据或数据服务,可提供组织的数据服务目录、服务级别、服务时间和价格表。
1.基于云的集成是一种基于平台即服务或IPaaS的系统集成形式,作为云服务提供面向服务体系架构和应用程序集成的数据和流程解决方案。
2.集成可分为内部或外部,内部,通过组织本地中间件平台提供服务,使用服务总线ESB来管理系统间的数据交换。外部,企业间集成通过EDI电子数据交换网关或增值网络VAN或市场服务提供。
3.SaaS应用,集成作为组织数据中心以外的数据新需求,基于云集成实现。作为SaaS数据中心供应商,提供涉及与SOA应用交互服务集成的SaaS应用程序的数据交互。
1.数据元素的正式规范和准则。ISO制定了数据交换标准,数据交换标准是组织或数据交换的通用模型,用于共享数据的标准化。
2.数据交换标准,定义了不同系统的交换数据所需的数据转换规定,数据需要映射到数据交换规范中。
3.共享数据规范,系统间达成一致的交换格式或数据结构,提供企业内数据互操作性,降低维护成本。
4.国家信息交换模型NIEM使用可扩展的标记语言XML进行数据元数据的定义和规范表示,保证一致性的理解,实现互操作性。
数据集成与互操作性,遵循数据开发生命周期,从规划开展,通过设计、开发、实施和测试,上线运行数据集成管理、监控和优化增强系统集成。
1.定义数据集成与生命周期要求,需要理解组织的业务目标,提出所需数据和技术解决方案。数据集成与生命周期要求,由业务分析师、数据管理员、各种功能架构师进行定义,以特定的数据格式规范,提出数据集成要求,满足所需的数据服务。数据需求定义的过程,会创建高价值的元数据,应在整个生命周期过程中管理这些元数据,数据集成通过元数据的完整和准确进行管理,进而降低风险和控制成本。
2.执行数据发现,识别数据集成潜在的数据源。发现数据的位置以及数据集成点,对数据源的数据质量进行评估,确认是否作为预期数据集成计划,补充组织的数据清单,更新元数据存储库。对需要内外部数据进行整体规划。
3.数据沿袭文档,数据发现过程会发现数据的流转信息,如何创建、分析和调整,记录这些数据沿袭情况,以及组织如何应用数据分析、决策或事件触发,根据制定详细的数据规则、ETL转换规则等,确保数据在流转过程中的影响。分析过程包括对数据流的持续改进。
4.数据文档分析,对数据内容和数据结构全面了解是整合数据的关键。数据分析有助于对数据的理解。如:数据格式、数据结构、数据填充(空值或默认值)、数据值的有效值集合、数据集内外部关系、相关字段、基数规则,以及与其他数据集的关系等,进一步评估数据质量,比较分析数据集的正确性,验证数据假设,分析组织数据安全和隐私方面的平衡。
5.收集业务规则,业务规则是数据需求的关键子集,是定义和约束业务处理方面的语句,控制和影响业务行为。业务规则划分为四类:业务术语定义、术语相关联的事实,约束和控制,以及派生。业务规则在各个业务活动方面支撑数据集成和互操作性,以便评估源和目标数据集中的数据、指导和组织数据流、监控组织运营数据、触发事件或报警。对于主数据管理来说,业务规则包括:规则匹配、规则合并、信任规则和生命周期规则,对于数据归档和数据仓库方面,业务规则包括数据的保留规则。
1.数据集成架构设计,数据集成解决方案。通过构建企业标准,组织可以加速实施解决方案,应尽可能对现有数据集成和互操作性组件进行复用。包括对数据架构清单、数据流转和更新频率、监管和数据安全问题、备份和恢复、数据可用性和操作性、数据保留和归档等。
交互模型选择,确定选择满足要求的交互和组合模型,如:点对点、集中式或订阅和发布,如果需求与当前数据交互模式匹配,应尽可能复用现有系统,避免和减少开发工作。
数据服务/集成交互设计,创建和复用现有的数据集成,数据服务应作为支撑性服务,修改现有的数据服务,而不是新增新的数据服务,降低复杂度。
2.数据集成接口、消息和数据服务,数据的集成和互操作性需要持续维护数据模型,如:主数据管理中心、数据仓库、数据集市和操作性数据方面,数据的转换结构、数据的接口、数据的消息和模型规范等。
3.将数据源映射目标,数据集成解决方案包括从数据源转换为目标,从一个位置的数据格式转换为另一个位置的数据规则,需要映射每个数据属性,形成数据规范:数据格式、数据转换临时点、填充的数据属性、转换的数据值、数据格式转换的触发器等。
4.数据流设计,对数据流进行记录和设计,从开始到结束,提供完整的数据转换的全过程跟踪。实时数据集成由事件触发,通常实现方式不是线性的,需要跨多个工具来实现。
1.开发数据服务,开发数据访问、转换和交付指定数据的交互模型。常用的实施数据集成解决方案的工具,如:数据转换、主数据管理、数据仓库等。组织内提供一致的、标准的实现不同目的的,数据共享解决方案。
2.开发数据流,数据集成或ETL专门用于数据互操作性、批处理数据流的开发和知识,包括数据存储的映射和控制点。开发实时数据集成和监控数据流转过程中的服务、获取、转换和发布数据的事件,提供跨技术管理的整体解决方案。
3.开发数据迁移方法,数据转换为应用程序可接受的格式,几乎所有的项目开发都涉及数据迁移,数据迁移不是一次性的,需要阶段测试和最终的落地实施。需要对数据迁移涉及到的数据进行全面的分析,对不符合的数据,应当通过应用程序代码进入数据集数据标准进行管理。
4.制定发布方法,创建和维护关键数据,需要将数据整合且发布给其他系统。应制定基于事件驱动的数据变更和定义维护计划,将生成的最新数据推送到其他系统(数据中心或企业数据总线)。组织应构建基于各类数据的公共共享数据定义规范,且对数据消费者进行访问控制权限的订阅和通知。
5.开发复杂事件处理流程,预测类模型需要在触发事件前,补充一些预测模型,如:对员工、组织、产品或市场的历史数据提供预测模型的填充,且通过实时数据流补充识别事件触发,执行触发后的预测响应。可以针对每个事件提供不同的响应,如:欺诈、购物车、警告等。
6.维护数据集成元数据,组织开发DII解决方案中,会创建和发现有价值的元数据,应管理和维护此类元数据,确保能够全面理解数据集成中的数据情况。如:数据集成中涉及数据结构记录的数据源、目标、系统分段,以及业务定义、技术定义的数据格式、大小、类型等,持久层的数据转换,元数据存储库的方面,大多数ETl提供元数据存储库,应记录数据之间的复制、转换的操作元数据,以及对SOA注册表涉及的信息目录访问控制提供数据和功能的服务。
开发和测试数据服务,实时监控数据处理过程中的要求和问题,建立问题处理机制,以及问题通知沟通机制。建立自动化和人工监测,触发响应复杂度会影响数据使用者在服务级别上的监控和维护功能。
1.数据转换引擎和ETL工具,支持数据转换操作的数据集成核心程序,执行和开发ETL,实现点对点或数据集成中的具体实现。数据转换引擎考虑批处理和实时功能,解决和适用结构化数据和非结构化数据,物理层提取、转换和加载。
2.数据虚拟化服务器,执行虚拟数据提取、转换和加载,组合结构化和非结构化数据,数据仓库中通常作为数据虚拟化服务器输入。但是,数据虚拟化服务器不会替换企业信息架构中的数据仓库。
3.企业服务总线,ESB是指软件体系结构模型和面向消息的中间件,解决异构数据存储、应用程序在组织内服务器间的近实时的消息传递。企业服务总线在系统层面上实现消息传递和传出队列,别对每个环节安装适配器每个参数的消息队列,便于订阅和发送消息。
4.业务规则引擎,数据集成解决方案依赖于业务规则,这些规则以元数据形式管理。可用于基本的集成、事件处理解决方案,允许非技术用户通过软件实现业务规则的配置,业务引擎规则可以对预测模型提供无代码更改,减低解决方案成本。
5.数据和流程建模工具,设计数据集成解决方案的中间数据结构,解决系统和组织间的数据流或消息建模。
6.数据分析工具,通过对数据集内容的分析,以理解数据格式、数据完整性、数据一致性、数据有效性和数据机构情况。全面评估数据源和目标数据详细情况,确定实现数据的解决方案需求。
7.元数据存储库,组织存放数据的信息,包括数据结构、内容和用于管理数据的业务规则。数据集成工具会涉及数据转换、沿袭和规则处理,都会存放在元数据存储库。
数据集成解决方案的基本目标是保持应用程序的松耦合,限制开发接口数量,通过集成HUB和集中式部署方法管理,且构建标准和规范的API接口。
1.准备评估和风险评估,由于数据集成与互操作解决方案是基于许多系统间的设计实现,目的在于通过合理的设计,降低数据集成带来的维护成本问题,需要专注于解决关键数据集的数据集成问题,而不是将整个组织范围内的解决方案替换为数据集成解决方案,需要特定解决,如:主数据管理、数据仓库,方面的数据集成解决方案。
2.组织与文化变革,确定和管理数据集成责任的集中化,或者是分散在应用系统的团队中。通常情况下,数据集成解决方案被视为技术型工作,但是组织要想成功实现商业价值,就必须根据业务规则进行开发,全面分析和建模,面向业务的数据资源的开发,构建完备的数据共享和互操作性的规范和标准,或者在组织内形成共享数据的一致性,设计业务审查及数据转换过程中的数据映射设计和更改。
1.组织数据能力影响的方面有、数据模型、数据集成与共享和数据转换规则的设计,需要以业务为导向进行决策,实施业务规则时,考虑技术的可实现性。
2.业务负责人定义数据的标准和转换规则,对这些业务规则进行维护,捕获为可管理的元数据,实现组织内跨业务域的分析,识别和验证预测模型的事件操作的有效性,也是业务功能的一部分。
3.数据集成涉及各方承诺,确定事件触发后的,关键事件的审计和评价,通常以用户故事方式或事件触发在系统开发生命周期进行跟踪和合规性描述。
4.控制方面对标准模型进行强制审计、元数据审计和可交付成果的规则转化变更审批等。
5.服务水平评价和业务连续性中,实现运营数据的集成解决方案,制定政策,确保组织在数据集成方案中收益,如:确保遵循SOA的原则,审查服务和数据流转是否通过企业服务总线。
规定数据交换的责任和可接受的使用条款,由相关业务数据管理人员审批,确保在预期使用和访问过程中符合安全限制和预期服务级别,包括系统运行时间和响应时间等。
确保数据来源和数据流转过程的有效记录,审查数据共享协议中的数据使用限制,按照要求对数据流转过程中的数据沿袭信息进行关键部位的元数据管理,对数据元素、数据流、数据处理部分进行影响分析,数据在何处,数据从哪里来是数据沿袭至关主要的信息。
数据集成解决方案的衡量指标:可用性、数量、速度、成本和应用指标
1.数据请求的可用性
2.传输和转换的数据量
3.海量数据分析
4.数据可用性和数据更新延迟,事件触发延时
5.数据源的可用性
6.开发和管理解决方案成本
7.获取新数据的易用性
8.解决方案和运营的复杂度
9.使用数据集成解决方案的系统数量
联系客服