kettle学习,word格式的文档，有目录，条理清晰

目录： Kettle中元素介绍 2 变量 4 转换 5 转换连接颜色 6 步骤（右键属性） 6 文本文件输入 7 表输入 8 获取系统信息 8 生成记录 9 Cube输入 10 Xbase输入 10 Excel输入 10 ..... ..... ..... ### Kettle 学习知识点详解 #### 一、Kettle 概述 Kettle 是一款开源的数据集成工具，主要用于ETL（Extract-Transform-Load）操作。它支持各种数据源和目标，能够实现数据的抽取、清洗、转换及加载等功能。 #### 二、资源库介绍 **资源库**是Kettle中用于保存转换和Job的地方，有两种主要的连接方式： 1. **纯数据库式**: 所有的转换全部保存在一个数据库中。 2. **文本文件形式**: 使用XML文件保存转换或Job，这种方式便于备份和迁移。 #### 三、Kettle 元素介绍 Kettle 中的元素主要包括输入、输出、转换和流等部分： ##### 输入(Inputs) - **AccessInput**: 从Access数据库中读取数据。 - **CubeInput**: 从Cube结构中读取数据。 - **Excel输入**: 从Excel文件中读取数据。 - **Generaterandomvalue**: 生成随机数值。 - **GetFileNames**: 获取文件名列表。 - **GetdatafromXML**: 从XML文件中提取数据。 - **文本文件输入**: 从文本文件中读取数据。 - **表输入**: 从数据库表中读取数据。 - **获取系统信息**: 获取操作系统信息。 ##### 输出(Outputs) - **AccessOutput**: 将数据写入Access数据库。 - **Cube输出**: 将数据写入Cube结构。 - **ExcelOutput**: 将数据写入Excel文件。 - **PropertyOutput**: 将数据写入属性文件。 - **SQLFileOutput**: 将数据写入SQL文件。 - **XML输出**: 将数据写入XML文件。 - **删除**: 删除数据。 - **文本文件输出**: 将数据写入文本文件。 - **表输出**: 将数据写入数据库表。 ##### 转换(Transformations) - **增加常量**: 在查询结果中添加常量列。 - **增加序列**: 在查询结果中添加序列列。 - **字段选择**: 选择输出字段。 - **拆分字段**: 将单个字段按分隔符拆分成多个字段。 - **排序记录**: 对记录进行排序。 - **Numberrange**: 根据不同范围输出不同值。 - **Addachecksum**: 添加MD5等加密校验。 - **Replaceinstring**: 替换字段中的值。 - **去除重复记录**: 去除重复记录。 - **值映射**: 映射字段值。 - **Uniquerows(HashSet)**: 使用HashSet去除重复记录。 - **计算器**: 对字段值进行算术运算和时间计算。 ##### 流(Flow) - **过滤记录**: 过滤特定条件下的记录。 - **Switch/Case**: 根据条件选择不同的分支路径。 #### 四、查询(Query) - **数据库查询**: 多表关联时使用。 - **连接**: 实现表之间的连接。 - **记录关联**: 将多个表记录进行关联。 #### 五、脚本(Scripts) - **ModifiedJavaScriptValue**: 使用JavaScript修改字段值。 #### 六、名词解释 - **Hops**: 节点间的连接，指定执行顺序和条件。 #### 七、常用工具 - **SQLEditor**: 数据库连接编辑器。 - **Explore**: 数据库探索工具。 - **搜索元数据**: 快速查找元数据。 - **设置环境变量**: 配置环境变量。 #### 八、变量 - **环境变量**: 范围广泛的变量，但不能动态使用。 - **Kettle变量**: 局部变量，用于特定任务。 - **内部变量**: 全局变量，自动定义。 #### 九、Job与转换的区别与联系 - **转换**: 主要用于数据转换处理。 - **Job**: 控制工作流程。 #### 十、转换设置 - **状态**: “产品”或“草案”状态。 - **版本**: 版本号。 - **日志数据库连接**: 写入日志表的数据库连接。 - **日志表**: 日志表名称。 - **Update日志步骤**: 更新日志表。 - **读取日志步骤**: 读取日志表。 - **Input日志步骤**: 记录输入行。 - **Write日志步骤**: 记录写入行。 - **Output日志步骤**: 记录输出行。 #### 十一、转换连接颜色 - 表示转换中各步骤之间的连接状态和类型。 #### 十二、步骤（右键属性） - **改变开始复制数量**: 控制步骤运行次数。 - **复制、删除、分离步骤**: 步骤管理操作。 - **步骤的分发、复制**: 数据复制机制。 - **定义错误处理**: 错误处理机制。 #### 十三、文本文件输入配置 - **没有空行**: 不发送空行至下一步骤。 - **输出包括文件名**: 包含文件名字段。 - **输出包含行数**: 包含行号字段。 - **格式**: 文件格式设置。 通过上述内容的学习，我们可以了解到Kettle的强大功能及其丰富的组件特性，这些特性使Kettle成为处理复杂数据集的理想工具。无论是数据抽取、清洗还是转换，Kettle都能够提供强大的支持，帮助用户高效地完成数据处理任务。