Datastage7.5.2.1问题汇总

### Datastage 7.5.2.1 问题汇总与解决方案 #### 一、概述 在使用Datastage 7.5.2.1进行数据提取、转换和加载（ETL）过程中，会遇到多种问题。这些问题包括但不限于操作系统兼容性、编译器选择、Oracle库的配置、字符集转换以及性能优化等。本文将根据实际工作经验，详细阐述这些常见问题及其解决办法。 #### 二、Datastage 所在的操作系统 **问题描述：** 在银河ACRM项目中，采用了Red Hat Linux AS 4 Update 8 x86_64 + Datastage 7.5.2.1 的环境组合。然而，Datastage 7.5.2.1 官方支持文档中明确指出：“Windows/Linux platforms are only supported on Intel x86 32-bit Processor”。这意味着在64位Linux系统上运行Datastage可能会遇到兼容性问题。 **解决方案：** 1. **确认官方支持：** 在选择操作系统前仔细阅读Datastage的官方文档和支持列表，确保所选系统符合要求。 2. **操作系统建议：** 建议使用 Red Hat Linux AS 4 Update 8 x86 (32位) 来避免潜在的兼容性问题。 3. **检查发行注记：** 在安装任何软件之前，务必查看其发行注记，了解系统需求和其他重要信息。 #### 三、编译器的选择 **问题描述：** 由于选择了64位操作系统，而Datastage 7.5.2.1 只支持32位系统，因此需要对环境变量中的编译器设置进行特殊配置。 **解决方案：** 1. **IBM官方推荐配置：** - `APT_COMPILEOPT`: `-O -fPIC -Wno-deprecated -c -m32` - `APT_COMPILER`: `g++32 -m32` - `APT_LINKER`: `g++32 -m32` - `APT_LINKOPT`: `-shared -32 -Wl,-Bsymbolic,--allow-shlib-undefined` 2. **自定义配置：** - `APT_COMPILEOPT`: `-O -fPIC -Wno-deprecated -c` - `APT_COMPILER`: `g++32 -m32` - `APT_LINKER`: `g++32 -m32` - `APT_LINKOPT`: `-shared -Wl,-Bsymbolic,--allow-shlib-undefined` 通过以上配置，可以在64位Linux系统上成功运行32位的Datastage应用。 #### 四、Oracle lib的选择 **问题描述：** 在64位Linux系统中安装了Oracle 10g 64位客户端后，Datastage 7.5.2.1 需要使用32位库。 **解决方案：** 1. **Oracle客户端安装：** 确保同时安装Oracle 10g 64位和32位客户端。 2. **环境变量配置：** 在 `$DSHOME/dsenv` 文件中，为 `LD_LIBRARY_PATH` 添加 `$ORACLE_HOME/lib32` 路径。 #### 五、Oracle 字符集转换问题 **问题描述：** 为了确保Datastage和Oracle之间的字符集兼容性，需要正确配置字符集映射。 **解决方案：** 1. **环境变量设置：** 在操作系统环境变量和Datastage环境变量中设置 `NLS_LANG`。 2. **字符集映射：** 在 `/home/dsadm/Ascential/DataStage/PXEngine.752.1/etc/oracle_cs.txt` 文件中添加以下行： ``` GBK ZHS16GBK ZHS16GBK GBK ``` 第一列为Datastage内置字符集，第二列为Oracle字符集。 #### 六、DS共享内存调优 **问题描述：** Datastage 7.5.2.1 版本中，`SHMTEST` 命令在64位Linux上存在无限循环的问题。 **解决方案：** 1. **升级版本：** 升级至Datastage 8.1或更高版本，该问题已被官方修复。 2. **查阅文档：** 查阅 IBM 支持文档 [SWG1 JR32113](http://www-01.ibm.com/support/docview.wss?rs=14&uid=swg1JR32113) 获取详细信息。 #### 七、DS 连接到 Oracle RAC **问题描述：** 当Datastage需要连接到Oracle RAC时，需确保有足够的权限，并进行特定配置。 **解决方案：** 1. **权限配置：** 数据抽取使用的数据库用户除了其他权限外，还需具有访问 `SYS.GV_$INSTANCE` 的权限。 2. **环境变量设置：** 在Datastage Administrator中为Project添加环境变量 `APT_ORACLE_NO_OPS=1`。 #### 八、DS中Oracle用户的权限问题 **问题描述：** 为了使Datastage能够正常工作，Oracle用户需要对特定视图拥有相应的权限。 **解决方案：** 1. **权限分配：** 对以下视图授予必要的权限： - `DBA_EXTENTS` - `DBA_DATA_FILES` - `DBA_TAB_PARTITIONS` - `DBA_OBJECTS` - `ALL_PART_INDEXES` - `ALL_PART_TABLES` - `ALL_INDEXES` - `SYS.GV_$INSTANCE`（仅当使用Oracle Parallel Server或RAC时） 2. **创建角色：** 根据Datastage的在线帮助文档建议，创建一个角色来简化权限管理。 #### 结语 Datastage 7.5.2.1 的使用过程中，面对各种技术挑战和限制，采取合理的策略和技术手段可以有效解决问题，确保数据处理流程的顺利进行。希望上述总结能为同行提供参考和帮助。