数据变换

数据仓库的外部数据源，其文件格式、所依赖的数据库平台等是多种多样的，在建立数据仓库时，必须对这些数据格式进行变换处理，统一格式。一些大的数据库厂商，在其数据仓库构建工具中，都提供了针对多种数据库系统的数据变换引擎，以简化数据仓库的构建工作。

在设计数据转换时，由于数据源之间往往存在不一致的问题，因此数据转换必须做到数据名称及格式的统一，同时对于源数据库中可能不存在的数据需要创建新的数据逻辑视图并进行相应的转换。概括起来需要如下的处理：①直接映射。数据源字段和目标字段长度或精度相同，则无须做任何处理。②字符串处理。从数据源的字符串字段中获取特定信息作为目标数据库的某个字段。对字符串的操作有类型转换、字符串截取等。由于字符类型字段的随意性也可能造成脏数据的出现，因此在处理这种规则的时候，需要异常处理。③字段运算。对于数值型字段而言，有时数据源的一个或多个字段进行数学运算而得到目标字段，则需要某些字段运算。④空值判断。对于数据源字段中的NULL值，可能在目标数据库进行分析处理时会出问题，因此必须对空值进行判断，并转换成特定的值。⑤日期转换。由于目标数据库中的日期类型格式是统一的，因此对数据源字段的日期格式需要进行相应的转换。⑥聚集运算。目标数据库事实表中的一些度量字段，通常需要通过数据源中一个或多个字段运用聚集函数进行聚集运算得来。⑦既定取值。这条规则对于目标字段取一个固定的或是依赖系统的值，而不依赖于数据源字段。