oracle data integrator(odi)概念、安装步骤及基本的配置步骤

### Oracle Data Integrator (ODI) 概念、安装步骤及基本配置步骤 #### Oracle Data Integrator 组件说明 **Oracle Data Integrator (ODI)** 是一个强大的数据集成平台，用于设计、部署和管理企业级数据整合项目。该平台支持各种数据集成模式，包括抽取、转换、加载 (ETL) 和提取、加载、转换 (ELT)，适用于多种数据源和目标系统。 - **Oracle Data Profiling**: 用于分析和评估数据质量的工具，可以帮助理解数据分布、识别异常值和检测数据中的模式。 - **Oracle Data Quality for Data Integrator**: 提供了一组数据清洗功能，如数据验证、标准化和匹配等，确保数据在整合过程中保持高质量。 - **Oracle Data Quality Products**: 包括一系列工具和服务，用于提高数据的质量和一致性，从而增强业务决策的有效性。 #### Oracle Data Integrator 一系列术语名词 - **Project**: 代表了特定任务或一组任务的集合，通常包含多个子项目。 - **Folder**: 在项目中组织对象的逻辑结构，有助于管理和维护大型项目的复杂性。 - **Packages**: 包含了一系列操作步骤的执行单元，可以被界面调用执行。 - **Interface**: 定义了数据源和目标之间的映射规则，用于在不同数据存储之间移动数据。 - **Procedure**: 包含一系列命令或操作的集合，用于执行特定任务。 - **Variable**: 在ODI中用于存储和传递数据的容器，可以在流程中动态更新。 - **Sequence**: 一系列按顺序执行的操作，通常用于实现复杂的业务逻辑。 - **User Functions**: 用户自定义的函数，可用于扩展ODI的功能。 - **Scenario**: 执行包的上下文，包含了运行参数、环境变量等配置信息。 #### 预安装前提条件 - **Configuration for Oracle Data Integrator**: 包括操作系统版本、硬件规格、内存大小等要求。 - **Configuration for Oracle Data Quality Products**: 根据所选组件的不同，可能还需要额外的配置项，如Oracle Data Quality Client和Oracle Data Profiling and Data Quality Server的具体要求。 - **Available Ports**: 必须确保所有必要的端口未被其他服务占用。 - **Other**: 可能还包括对特定软件版本的要求、依赖关系等。 #### ODI 的安装 - **10.1.3.4.0 之前版本的安装**: 早期版本的安装过程可能较为繁琐，涉及手动配置较多。 - **10.1.3.4.0 以上版本的安装**: 较新版本提供了更友好的安装向导，简化了整个安装流程。 - **11g 版本的安装**: 对于11g版本，安装过程更加自动化，且提供了更多的安装选项和灵活性。 #### ODI 的卸载 卸载过程涉及到删除所有相关文件和配置信息，确保系统中不再残留任何与ODI相关的组件。 #### JDBC/JMS 驱动安装 这部分主要涉及如何正确安装和配置JDBC和JMS驱动，以便ODI能够顺利连接到各种数据库和消息中间件。 #### ODI 基本配置步骤 - **资料库存储空间**: 需要为ODI的元数据仓库分配足够的磁盘空间。 - **创建资料库用户**: 创建专门的数据库用户，用于ODI的元数据管理。 - **创建主资料库**: 设置ODI的主资料库，这是存放所有项目、模型和其他元数据的地方。 - **连接主资料库**: 使用适当的凭据连接到主资料库。 - **创建工作资料库**: 工作资料库用于存放实际的数据处理任务和结果。 - **连接工作资料库**: 同样需要通过正确的凭据来建立连接。 #### Agent 的配置 - **Listener Agent**: 负责监听来自ODI服务器的任务请求。 - **Scheduler Agent**: 用于调度任务，按照预定的时间表执行作业。 - **Web Agent**: 支持通过Web界面进行管理和监控。 - **Stop Agent**: 用于终止运行中的任务。 #### Lightweight Designer 安装步骤 - **先安装 Web Server**: 安装所需的Web服务器软件。 - **安装 Lightweight Designer**: 安装设计工具本身。 - **Lightweight Designer 配置连接**: 设置与ODI服务器的连接。 - **配置数据源**: 添加ODI可以访问的各种数据源。 - **配置 Repository 连接**: 确保ODI能够访问存储库。 #### ODI Metadata Navigator 安装步骤 - **先安装 Web Server**: 同上。 - **安装 Metadata Navigator**: 安装用于浏览和管理ODI元数据的工具。 - **ODI Metadata Navigator 配置连接**: 设置与ODI服务器的连接。 - **配置 "connection to the work repository"**: 确保工具能够访问工作资料库。 - **数据库的 JAR 文件拷贝**: 复制必要的JAR文件到指定位置。 - **资料库连接**: 配置数据库连接信息。 - **登陆 ODI Metadata Navigator**: 使用有效凭证登录。 #### 配置和启动 CDC - **针对数据源模型配置日记记录**: 选择合适的Journal Key Management (JKM) 方法。 - **将需要进行 CDC 的数据存储添加到 CDC**: 指定哪些数据存储应该启用变更数据捕获 (CDC)。 - **添加订阅**: 定义接收CDC事件的目标系统。 - **启动日记**: 开启数据源的日志记录功能。 - **接口设置**: 配置用于传输变更事件的接口。 #### ODI 的安全控制 这部分涵盖了如何设置和管理ODI中的用户权限、角色和安全策略，确保只有授权用户才能访问敏感数据和资源。 #### 典型 ELT 配置步骤 - **Insert a Data Server**: 添加数据服务器以连接到数据源。 - **Create an Oracle Physical Schema**: 定义物理架构。 - **Create an Oracle Model**: 设计模型以反映业务需求。 - **Reverse-Engineer an Oracle Model**: 从现有的数据库模式逆向生成模型。 - **Create a Datastore**: 定义数据存储。 - **Create a Project**: 创建项目来组织相关资源。 - **Create an Interface**: 设计数据转换规则。 - **Create a Package**: 将一系列操作组合成一个可执行的单元。 - **Generating a Scenario**: 构建场景以执行特定任务。 - **Create a Scheduler**: 设置调度器以自动运行任务。 #### 问题总结 - **创建 Data Server 时 test10g 必须填写**: 确保提供有效的测试连接信息。 - **目标端到远端需要创建 db link**: 在源和目标系统之间建立数据库链接。 - **目标端是 11g，连接远端是 10g 版本**: 需要注意兼容性问题。 - **用户权限**: 确认用户有足够的权限执行所需操作。 - **ODI-1405 没有在拓扑中为主资料库添加 Repository**: 需要在拓扑中正确配置主资料库。 Oracle Data Integrator 是一款功能强大且灵活的数据集成工具，适用于各种规模的企业。其丰富的特性和广泛的适用范围使其成为处理复杂数据整合任务的理想选择。通过遵循上述步骤和注意事项，可以确保成功地安装、配置和使用Oracle Data Integrator，从而高效地完成数据整合任务。