一、产品概述
自业务智能 (BI)需求兴起，至如今大数据时代来临，业务智能应用的需求日益迫切，这在电子政务业务环境中莫不如此。而实现业务智能（BI）过程中，海量数据在业务系统之间的自动化、流程化、规范化处理是基础，而ETL工具就是完成这一基础任务的专门应用，已经在业界得到广泛认可和使用，其中ETL工具代表了数据抽取、转换、加载三个方面，这三者环环相扣必不可少。中科保泰公司专注于电子政务二十年，通过多年行业经验积累，跟随需求、技术发展变化，不断完善自身ETL工具产品，为电子政务客户高品质完成海量数据业务提供了强有力支持和保障。
二、 功能介绍
1. 广泛数据接口
CHINOBOT ETL经过多年的完善、改进和发展，形成了丰富的数据接口。数据接口覆盖数据库接口、静态文件接口、流数据接口。
支持的接口包括（但不限于）：
1) 数据库接口
RDBMS
DB2
ORACLE
SYBASE
SQL SERVER
ACCESS
POSTGRE
MYSQL
SQLITE
NO-SQL数据库
Hive
mongoDB
2) 静态文件接口
包括主流操作系统（LINUX,WINDOWS,OS X,UNIX,AIX等）下的公开的文本格式和非文本格式，如
CSV, TXT, DOC,EXL,HTML,XML,json等
3) 流数据接口
ü 公开标准流数据接口
客户业务系统数据流程中，如果采用了业界业务标准规范进行数据交换和传输，则可以对此类流数据进行采集，如BPM国际标准、国家电子政务行业标准（如国土、社保、住房建设、公共安全等）。
ü 专有流数据接口
可以针对客户自身的要求，或者客户业务系统的要求，动态定制流数据的源数据采集、目标数据装载接口。
2. 实时数据转换
CHINOBOT ETL中的twinkle data translator 是一个支持分布式、全内存、流水线方式操作的数据转换处理任务程序。用户根据具体源数据、目标数据，设计完成所需的执行任务代码（支持通用SQL、专用SQL、JAVA、JAVASCRIPT、PYTHON、RUBY），以定时任务或者实时工作流的方式完成数据的转换。
3. 高效数据装载
CHINOBOT ETL中的twinkle data LOADER 是一个支持分布式、全内存、流水线和并行方式操作的数据装载程序。对于可以支持并行方式进行数据装载的软硬件环境，可以充分利用相应资源高效完成海量数据装载任务；另外，对于源数据为流数据的情况，可以利用内存方式进行流水线方式进行数据实时处理和加载。
4. 数据处理过程管理
拥有基于网络的数据生命周期管理，包括数据处理任务的配置、开始运行、停止和状态监控等，以及对于数据处理任务节点的日志记录。
三、 应用场景
1、 数据仓库建设
随数据量的不断增多，针对性某方面主题的业务查询和统计的压力会日益增大，此时会需要建设专门主题数据库。主题数据库的数据来源于对原有业务数据的抽取、转换和加载。
2、 历史数据迁移
当业务系统升级时，由于历史数据与新系统的数据规范不完全一致，所以需要对历史数据进行相应处理后才能进入到新系统；此时，采用专门的可以灵活支持不同数据规则的ETL数据工具则可以保障数据迁移的完成。
3、 政务大数据分析
随政务大数据的不断增长，以及大数据环境下数据生产和存储方式的多种多样，传统的建立数据仓库的方式已经难以胜任大数据分析任务。而通过流数据处理的方式，借以可支持流数据处理的ETL工具，
则可灵活应对各种形式数据，从中采集相关数据，从而建立相关大数据分析。
