一、 简介<br>数据中心(数据仓库)中的数据来自于多种业务数据源,这些数据源可能是<br>不同硬件平台上,使用不同的操作系统,数据模型也相差很远,因而数据以<br>不同的方式存在不同的数据库中。如何获取并向数据中心(数据仓库)加载<br>这些数据量大、种类多的数据,已成为建立数据中心(数据仓库)所面临的<br>一个关键问题。针对目前系统的数据来源复杂,而且分析应用尚未成型的现<br>状,专业的数据抽取、转换和装载工具DataStage是最好的选择。<br>Websphere DataStage 是一套专门对多种操作数据源的数据抽取、转换<br>和维护过程进行简化和自动化,并将其输入数据集市或数据中心(数据仓库)<br>目标数据库的集成工具。<br>DataStage 能够处理多种数据源的数据,包括主机系统的大型数据库、<br>开放系统上的关系数据库和普通的文件系统等,以下列出它所能处理的主要<br>数据源:<br>大型主机系统数据库:IMS,DB2,ADABAS,VSAM等<br>开放系统的关系数据库:<br>Informix,Oracle,Sybase,DB2,Microsoft SQL Server等<br>ERP系统:SAP/R3,PeopleSoft系统等<br>普通文件和复杂文件系统,FTP文件系统,XML等<br>IIS,Netscape,Apache等Web 服务器系统<br>Outlook等Email系统<br><br>DataStage 可以从多个不同的业务系统中,从多个平台的数据源中抽取数<br>据,完成转换和清洗,装载到各种系统里面。其中每步都可以在图形化工具<br>里完成,同样可以灵活的被外部系统调度,提供专门的设计工具来设计转换<br>规则和清洗规则等,实现了增量抽取、任务调度等多种复杂而实用的功能。<br>其中简单的数据转换可以通过在界面上拖拉操作和调用一些DataStage 预定<br>义转换函数来实现,复杂转换可以通过编写脚本或结合其他语言的扩展来实<br>现,并且DataStage 提供调试环境,可以极大提高开发和调试抽取、转换程<br>序的效率。