Sagent Data Flow培训手册

### Sagent Data Flow培训手册知识点概述 #### 一、系统登录 **系统登录**是使用Sagent Data Flow软件的第一步，对于初次接触该软件的用户来说尤为重要。根据提供的部分内容，登录流程包括以下四个步骤： 1. **启动Sagent存储库的数据库服务器**：这一步骤确保了数据存储库的可用性。用户可以根据安装时的选择来确定使用的是Oracle还是SQL Server作为存储库服务器。 2. **启动Sagent Data Flow Service服务**：通过Windows的服务管理工具启动此服务，确保Sagent Data Flow的功能能够正常使用。 3. **运行SAISD.exe文件**：这是通过Sagent安装目录直接启动的方式。 4. **使用快捷方式启动**：通过“开始”菜单中的程序列表找到并启动Sagent的Designer Studio。 #### 二、建立基本系统(BaseView)和元视图(MetaView) 1. **建立基本视图(BaseView)**：BaseView用于管理数据表和表之间的连接关系，是数据整合过程中非常基础的一个环节。这部分内容涉及了如何创建BaseView、管理其中的表和连接、以及如何查看表的属性等操作。 - 创建BaseView - 表管理 - 连接管理 - 查看表属性 2. **建立元视图(MetaView)**：MetaView是用于管理数据模型的一种方式，它可以将不同的BaseView组织在一起，提供更高层次的数据视图。 - 创建新的MetaView - 创建MetaView类别及部件 - 删除MetaView类别 - 重命名MetaView类别和部件 - 创建元视图类别的示例 - 在元视图类别中新建部件 #### 三、设计DataFlow **设计DataFlow**是Sagent Data Flow的核心功能之一，它涉及到数据流的设计、编辑和管理。 1. **显示DataFlow编辑器**：用户可以在这个编辑器中设计数据处理的逻辑流程。 2. **调整显示比例**：为了方便查看和编辑，用户可以根据需要放大或缩小编辑器的显示比例。 3. **保存和打开Plan**：保存和加载设计好的数据处理计划(Plan)，以便于后续的使用和修改。 4. **使用SQL查询转换(transform)**：利用SQLQuery转换处理数据，可以执行复杂的SQL查询语句。 5. **浏览SQL语句**：使用SQL编辑器浏览已有的SQL语句。 6. **编辑SQL语句**：在SQL编辑器中增加或编辑SQL语句。 #### 四、转换(Transform)使用 **转换(Transform)**是Sagent Data Flow中用于实现数据处理逻辑的关键组件。它们可以帮助用户完成数据清洗、转换和聚合等多种任务。 1. **添加转换**：向Plan中添加一个转换(transform)。 2. **连接管理**：手动增加或删除连接，管理数据流之间的逻辑连接。 3. **保存用户自定义Transform**：保存自定义的转换，方便后续的重复使用。 4. **浏览转换输入和输出属性**：查看转换的输入和输出属性，帮助理解数据处理过程。 5. **修改转换名称**：更改转换的名称，便于识别和管理。 #### 五、转换功能介绍 本部分详细介绍了各种转换(Transform)的具体功能，包括但不限于： 1. **条件拆分器**：根据数据的不同条件将数据流分为多个分支。 2. **拆分器**：将单一的数据流拆分为多个。 3. **联合**：将多个数据流合并为一个。 4. **联接**：将两个或多个数据流按特定规则进行连接。 5. **比较**：比较两个数据集之间的差异。 6. **子计划**：创建嵌套的Plan，实现更复杂的逻辑处理。 7. **分割文本文件源**：读取并解析文本文件。 8. **平面文件源**：处理非结构化或半结构化的文件数据。 9. **XML源**：读取XML格式的数据文件。 10. **表达式计算器**：计算表达式结果。 11. **SQL命令**：执行SQL语句。 12. **分隔文本文件接收器**：将处理后的数据写入文本文件。 13. **保存到表**：将数据保存到数据库表中。 14. **删除重复行**：移除重复的数据记录。 15. **筛选器**：过滤不符合条件的数据记录。 16. **添加列**：在数据集中增加新的列。 17. **重命名列**：更改列名。 18. **选择列**：选择需要的列进行处理。 19. **透视**：对数据进行透视处理，即行列互换。 20. **记录编号**：为数据记录添加序号。 21. **内存排序**：在内存中对数据进行排序。 22. **磁盘排序**：当数据量过大无法完全放入内存时，采用磁盘排序。 23. **排名**：根据指定的规则对数据进行排名。 24. **VBScript**：使用VBScript脚本来扩展转换的功能。 #### 六、Sagent管理 这部分内容主要涵盖了Sagent Data Flow的管理和维护工作，包括但不限于： 1. **打开Sagent管理**：启动Sagent管理工具。 2. **Sagent安全组管理**：管理用户的访问权限。 3. **发布/订阅组管理**：管理数据发布的订阅关系。 4. **用户管理**：管理系统的用户账户。 5. **基本视图管理**：管理BaseView。 6. **元视图管理**：管理MetaView。 7. **Plan备份与恢复**：备份和恢复Plan，防止数据丢失。 8. **Sagent备份与恢复**：整体备份和恢复Sagent系统，保障数据的安全。 9. **注册存储库**：注册新的数据存储库。 10. **Sagent服务器参数管理**：配置Sagent服务器的运行参数。 11. **Sagent存储库清理**：定期清理无用的数据，优化存储空间。 12. **查看Sagent状态**：监控Sagent系统的运行状态。 13. **停止计划**：根据需要暂停正在执行的Plan。 #### 七、SagentAutomation 关于SagentAutomation的部分，主要包括了自动化任务的设定和执行，具体包括： 1. **设定SagentAutomation连接的Repository**：设置自动化任务与数据存储库的连接。 2. **开始SagentAutomation**：启动SagentAutomation服务。 3. **建立一个AutomationFlow**：创建自动化流程，实现自动化的数据处理任务。 以上是对"Sagent Data Flow培训手册"的主要知识点的详细梳理，涵盖了系统登录、基本系统的建立、DataFlow的设计、转换的使用以及Sagent的管理等方面的内容。这些知识点对于理解和掌握Sagent Data Flow的使用至关重要。