糟糕的数据质量是IT无法承受之重

“很简单，数据越好、越容易获取，你做出的决定就越好。“——《当坏数据发生在好公司身上时》

·一个组织的不良数据对业务的影响可能会导致高达25%的公司收入的损失。

·不良数据使美国医疗保健行业损失3140亿美元。

·不良数据每年给美国经济造成超过3万亿美元的损失。

许多IT经理会对这些头条新闻感到畏惧。毕竟，IT经理是企业业务中使用数据的管理者。这种管理意味着他们必须制定策略和解决方案，防止坏数据严重损害业务。在一个成本受限的企业中，他们必须为自己推荐的解决方案提供经济上令人信服的论据。

数据对现代商业来说既是福也是祸。在我们这个信息驱动的世界里，数据的数量、复杂性和时间临界性继续快速增长(据IDC统计，目前每年增长61%)。

“IDC预测，到2025年，全球数据总量将从今年的33 ztb增长到175ZB，复合年增长率为61%。”

在当今复杂的业务技术环境中，确定信息技术的投资方向和投资规模是一个巨大的挑战。业务主管和管理人员面临着支持企业所需信息的指数级增长。与此同时，全球经济陷入衰退，影响了企业的IT预算。这一前所未有的增长挑战促使人们在IT技术方面做出合理的投资决策，以最好地满足他们的需求。从这些业务主管的角度来看，在正确的时间、正确的地点拥有正确的数据的模式是必不可少的。

从投资中获得正回报的概念是商业思维的基础。但是，投资IT并不像投资房地产那样简单，房地产通常会随着时间的推移而升值。投资IT就是投资“软件”和信息基础设施，它们提供数据、软件和服务，使企业能够成功地提供和分发他们的产品和服务。如果IT配备了现代工具，那么它更有可能满足业务需求，而不是使用过时的实践和技术。由于IT必须支持业务中最复杂的方面，它们本身就具有内在的复杂性。业务的变化驱动IT系统中的变化。从业务的角度来看，对IT提出需求的一些相关问题包括业务扩展、客户或市场动态的变化以及新产品和服务的引入。所有这些问题的根本是交付产品和服务的质量以及留住客户的能力。

这些变化导致IT需求定期升级和现代化活动。在当今世界，企业的IT必须保持现代化，否则就会消亡。业务执行人员和IT经理处于必要的协作关系中，以确定业务挑战的优先级并支持IT活动。这些协作不仅必须选择能够提供正回报的投资和技术，而且还必须确定它们对业务目标的相对重要性。由于业务和IT的复杂性，量化投资的回报和优先级的困难是一个持续的挑战。

对于这种协作关系来说，一个很好的起点是建立对企业及其IT重要的相互理解。市场份额、收入和盈利能力的增长对企业来说通常是重要的。对于任何给定的业务情况，这些顶层目标最好由更详细的目标来支持，例如缩短产品和服务的上市时间。在另一种情况下，质量和客户服务问题的解决是至关重要的。在第三种情况下，提高生产率以降低成本可能是首要目标。在某个时候，几乎所有规模的企业都可能对所有这些领域感兴趣。如何优化IT策略将或应该由业务策略和需求决定。在优化过程中所衡量的将决定最终的结果。

尽管技术进步了，IT经理将发现很难证明他们的IT策略是正确的，除非他们能够有效地阐明他们的建议的经济利益和成本。

坏数据的来源是可识别的

数据是业务的命脉，业务- IT伙伴关系面临的核心问题之一是建立和维护业务数据的完整性。大多数企业都有多个使用这些数据的流程，范围从销售和生产到供应链、研发、人力资源、财务等等。在许多组织中，收集、存储、处理和分发数据的方法和系统在业务历史的不同时期有所发展，它们通常使用不同的技术。在某些情况下，电子表格位于复杂的信息门户，关键数据迁移到电子表格;然后在应用程序之外处理它。其结果是，企业的经营诚信直接受到这类行为的威胁。

数据完整性可以定义为“……具有完整或完整结构的数据”。数据的所有特征，包括业务规则、数据片段如何关联的规则、日期、定义和沿系必须是正确的，这样数据才能完整。”当数据完整性不再存在时，业务就陷入了困境。请看下面的一个真实案例:

有一家人力外包企业，让我们称之为“A公司”，有一个遗留的工资系统，他们希望通过这个系统与公司的人力资源员工数据库共享员工数据。两个系统的“集成”后,当该公司去招聘新员工时,他们经历了一个令人震惊的结果:大约50%的就业“招聘行动”是错误的。

这家公司通常每周招聘200到400名新员工。在他们整合的工资-人力资源系统中，他们总是会在新员工的福利扣除和预扣税中遇到错误。解决这些错误的过程通常需要7到22周的周期时间，包括投诉处理、研究和额外的检查运行。所涉及的内部业务流程由于错误修正程序而变得臃肿，并且出现了基于电子表格的秘密数据库来跟踪“异常”。有人指出，如果自己操作，工资表和人力资源应用程序似乎是稳定的，并保持在可管理的错误水平。然而，集成是一场灾难，内部和外部都威胁到将整个外包流程。

“不良数据”是A公司问题的症状，但不是根本原因。对数据及其流程的建模分析揭示了导致问题的几个关键技术和管理因素。

技术根源:

·数据损坏:在不知情的情况下使用了员工属性的两种不同的定义和用法。

·数据访问冲突:数据有多个访问点，导致无法控制和冲突的数据更新。

·业务规则冲突:在没有理解和正确实现业务规则的情况下使用数据库之间的数据共享和迁移过程。

在现实中，技术和管理问题很大程度上归因于A公司的数据集成挑战缺乏健全的数据生命周期管理方法。这种不足在四个方面表现得很明显:

·数据和过程集成:缺少或不充分执行数据和过程集成的程序、方法、工具或培训。

·质量和监督:缺少或不充分的标准和最佳实践来支持手头的任务。

·财务/风险管理:没有方法来预测所选战略的经济和技术影响。

·组织职责:涉及多个IT小组和多个业务用户，导致了沟通、需求定义和权限方面的挑战。

对A公司的教训:如果没有系统的数据建模和数据生命周期管理方法，支持业务的数据和业务本身就会面临风险。

其实，几乎每个组织都有类似的问题。从补救的额外成本以及客户不满导致的潜在或实际业务损失的角度来看，像本例这样的情况的经济损失是很高的。纠正并最终避免这种性质的问题的战略需要技术和管理的行动和倡议。

许多组织就像您的组织一样，希望利用建模的好处，但需要向管理层提供财务和非财务理由。

财务理由

从企业的角度来看，投资的结果是成本迟早会下降，收入和利润会上升。就IT而言，在项目或解决方案的投资和财务回报之间提供直接联系并不总是可能的。这可能是捕获和计算IT成本的方式的结果，或者根本不捕获IT成本。对于某些企业来说，IT只是分配给业务单位的成本中心，作为管理费用的一部分。此外，可能的收入影响也可能被其他业务因素掩盖，包括许多IT组织没有被识别为影响收入的中心。

尽管有独特的业务需求或要求，但大多数业务成功依赖于高速、高质量和可承受的成本。对于业务运行的数据，有一组必然的因素，特别是及时性、完整性和成本。数据在每个业务流程中都是无处不在的，因此数据的这些因素或属性可以并且确实影响到业务的每个操作和位置的成本和收入。这些推论可以从系统的角度来看:

业务	数据
速度:业务如何减少响应时间?	及时性:如何在需要时提供数据?
质量:企业的产品如何达到更高水平的客户接受?	完整性:如何消除数据中的错误?
成本:如何管理企业的成本?	成本:数据系统如何才能高效和有效?

A公司管理失败的正是这些数据属性。

与其他业务资产一样，数据也有生命周期

无论是否理解和控制，数据都是创建的，服务于其业务功能，并最终退役。这个生命周期需要被很好地构思和有效地使用，否则对业务来说是危险的。数据生命周期管理(DLCM)包括数据建模和管理，是IT经理可以用来处理数据的三个因素的系统方法:及时性、完整性和成本。DLCM方法为业务数据提供了不同的、经过改进的基础。除了在需要的时候和地点提供正确的数据外，它还提供了一个稳定的平台，支持受控的和响应性的变更管理。它还提供了可预测和可审计的数据。生命周期中的每一个步骤都与这三个因素有关，并最终决定成功的财务业绩。

DLCM的七个步骤:

·业务规划

·业务敏捷性

·需求

·分析

·设计

·部署和运营

·治理和风险。

DLCM是“软件”的“平面图”，而数据建模、元数据管理和变更管理工具、建模方法、标准和最佳实践是生产业务使用的数据架构的设备。如果实现得当，每个步骤都在实现数据及时性或完整性方面发挥作用。下面的表显示了这七个步骤对这些数据属性和财务业绩的主要影响。

1 业务计划和业务敏捷性:定义业务中使用的数据的过程，即数据建模，始于数据生命周期的开始。这些步骤是企业的责任。这些步骤确定业务需要哪些重要数据。它们还确定数据必须有多敏捷，特别是数据需要放在哪里，以及何时需要在那里为业务服务。

2 需求:对详细业务需求的有效定义可以对业务成本和收入-利润表现产生直接影响。在软件开发中，定义不好的需求会导致不好的结果。对于数据和信息体系结构的任何其他部分都是如此。这是数据不适合使用的主要原因。与修复数据库系统和其他修复相关的额外成本可能相当高，尤其是如果对不良结果的来源、较差的需求定义没有很好地理解的话。数据建模作为一门学科，将它的主要重点放在使用逻辑建模进行需求定义、分析和文档方面。相应的物理建模用于捕获技术实现需求。当按照公司和行业标准使用时，现代数据建模技术提供了具有更高准确性、更快响应时间和更低拥有成本的数据系统。

3 分析与设计:这个步骤决定了技术的实现，包括数据库管理系统的选择和网络的实现。数据的物理建模和相关的设计活动会影响系统的性能，特别是数据是否会在需要时到达适当的业务目的地。如果没有足够的容量信息和数据结构(如数据仓库)的物理建模，数据系统可能无法正确确定大小。这可能导致容量问题和/或性能不足，需要昂贵的改造和升级。

4部署和操作:当业务驱动的更改或未发现的问题发生时，维护已部署的数据系统的成本可能很高。成本有效的变更管理通过管理和控制业务数据需求和数据设计得到了最好的支持。现代数据建模环境能够并且应该在生命周期的每个步骤中提供数据的可跟踪性。有了适当的需求定义，这是控制和降低数据拥有成本的最重要的一步。

5 治理和风险:正确定义、设计和实现的数据系统对于提供适合使用的数据至关重要。大量的企业还被要求遵守外部机构的法规和政策。例如，交通运输、医疗保健、能源或金融部门的任何企业都将继续看到越来越多的监管要求。这种疏忽往往涉及到数据的细节层次、数据是什么、如何使用以及在哪里使用。为了保持整体财务健康，企业也实行自己的内部政策和标准。与未能遵守监管要求相关的成本可能是巨大的，直至并包括停止业务运营。通过使用数据建模和数据管理技术、标准和方法来提供可跟踪和受管理的数据生命周期，这种灾难的风险大大降低。

其他无形的理由

实现数据生命周期环境还有一些非经济方面的好处。IT经理和他们的业务伙伴可能会在各自的组织中看到行为的转变。拥有适当的工具和方法来开发解决方案和解决问题通常会增加组织的响应能力和创造力。以下是一些可观察到的变化，这些变化是由实施好的方法和技术所影响的:

·改进的通信

·改进了对业务及其需求的理解

·内部组织团体之间更高层次的一致性和连贯性

·采用支持业务的东西，拒绝不支持业务的东西

·提高创造力和积极主动的态度

·改进的协作

虽然通常无法量化，但表现出这些行为的组织因其卓越、表现和工作场所的吸引力而得到认可。

掌握数据至关重要

随着数据的日益重要，企业普遍面临着数据的扩张，A公司只是其中一个例子。在更大的范围内，公司正在着手主数据管理计划，以解决诸如上市时间、收购和合并、集成业务流程之间的数据共享以及区域和全球业务集成等问题。这类任务的出现是由业务- IT关系的业务方面驱动的。可以使用方法、数据生命周期管理和建模工具来帮助完成这些任务。无论主数据管理计划的规模有多大，数据的原子结构都需要是可定义的、可理解的、可用的、标准化的和可管理的。主数据管理和管理人员需要确定合格的数据管理工具，这些工具不仅能够捕获设计良好的数据库系统中固有的所有相关元数据，还能够在整个业务中自动比较、标准化和控制数据。如果没有这些能力，主数据管理计划将无法在技术上或业务上实现。

小结

糟糕的数据是无法承受的。使用数据生命周期管理方法(配备了适当的方法、数据建模和数据管理工具集)的IT经理具有通过提供“适合使用”的数据为其业务提供更好支持的明显优势。DLCM方法还提供了业务数据、数据构造方式及其对财务业绩的影响之间的联系。使用DLCM的IT经理将显著更好地控制数据“制造”过程，并有能力更有效地表达他们的IT战略，并显示更好的投资回报。