kettle8.1转换-转换组件介绍文档

### Kettle 8.1 转换组件详细介绍 #### 1. 值映射组件（ValueMapper） - **功能概述**：值映射组件允许用户定义一系列映射规则，将流中的某个字段的值根据这些规则映射成新的字段值或替换原有字段的值。这种组件特别适用于字段值的标准化处理，比如将不统一的数据表示转换成一种统一的形式。 - **应用场景**：数据清洗过程中经常会遇到需要统一字段表示的情况，比如将“是”、“yes”、“y”等表示肯定的回答统一转换为“1”，或者将来自不同系统的日期格式统一转换为YYYY-MM-DD格式。 - **属性说明**：表1详细列出了该组件的各种属性及其用途，包括映射表的配置、字段的选择等。 #### 2. 列拆分为多行组件（SplitFieldToRows） - **功能概述**：此组件能够从流中的一条记录中选取某个字段，并根据指定的标识符将该字段的值拆分为多个值。每个被拆分的值都将与原始记录合并生成一条新的记录，从而实现将单个字段的多个值转换为多条记录的目的。 - **应用场景**：当源数据中某个字段包含了多个值（通常用逗号或其他分隔符分隔），而我们需要将这些值分开处理时，此组件非常有用。 - **属性说明**：表2详细说明了该组件的属性，包括选择待拆分的字段、指定的分隔符等配置项。 #### 3. 列转行组件（DeNormaliser） - **功能概述**：此组件能够将多条记录合并为一条记录，并将这些记录中同一字段的不同值转化为新记录中的不同字段。这有助于简化复杂数据表的结构，便于后续的数据处理和分析。 - **应用场景**：当需要将多条记录汇总到一起，形成更简洁的宽表形式时，此组件非常适用。 - **属性说明**：表3提供了该组件的详细属性说明，包括选择哪些字段进行合并、如何配置新字段的名称等。 #### 4. 裁剪字符串组件（StringCut） - **功能概述**：该组件允许用户根据字符串的索引位置对字符串进行裁剪，以提取出所需的部分。 - **应用场景**：在处理包含固定格式的字符串时（如电话号码、地址等），此组件可以帮助用户快速准确地提取出关键信息。 - **属性说明**：表4介绍了该组件的具体属性，包括选择待裁剪的字段、指定裁剪的起始位置和结束位置等配置选项。 #### 5. 去除重复记录组件（UniqueRows） - **功能概述**：该组件用于删除输入流中的重复记录，确保数据的唯一性。需要注意的是，在去除重复记录之前，通常需要先对数据进行排序。 - **应用场景**：在数据分析前进行数据预处理时，此组件能帮助去除数据集中的冗余信息，提高数据质量。 - **属性说明**：表5提供了详细的属性说明，包括如何配置排序字段以及如何处理重复记录等。 #### 6. 合并字段组件（ConcatFields） - **功能概述**：此组件可以将多个字段连接起来形成一个新的字段，连接的过程中可以使用指定的分隔符。 - **应用场景**：当需要将几个字段的信息组合在一起形成一个综合字段时，此组件非常实用。 - **属性说明**：表6列出了该组件的属性说明，包括选择参与合并的字段、指定分隔符等配置选项。 #### 7. 唯一行（哈希值）组件（UniqueRowsByHashSet） - **功能概述**：类似于去除重复记录组件，但使用哈希表来高效去除重复记录。此组件也可以指定需要检查重复性的字段。 - **应用场景**：在处理大规模数据集时，使用哈希表的方法能够显著提高去除重复记录的效率。 - **属性说明**：表7给出了该组件的属性说明，包括选择检查重复性的字段、如何处理重复记录等配置选项。 #### 8. 增加常量组件（Constant） - **功能概述**：此组件向流中增加一个或多个常量字段，用于填充固定的值。 - **应用场景**：当需要在数据集中加入固定不变的信息时，此组件非常方便。 - **属性说明**：表8列出了该组件的属性说明，包括添加的常量字段名及对应的值。 #### 9. 增加序列组件（AddSequence） - **功能概述**：此组件向流中添加一个递增的序列值，可以是基于数据库序列生成，也可以是通过转换计数器生成。 - **应用场景**：在需要为每条记录生成唯一的标识符时，此组件非常有用。 - **属性说明**：表9详细说明了该组件的属性，包括选择生成序列的方式、起始值和增量值等配置项。 #### 10. 增加校验和组件（CheckSum） - **功能概述**：该组件计算输入流中一个或多个字段的校验和，并将结果作为一个新字段添加到输出中。 - **应用场景**：校验和常用于验证数据传输的完整性，确保数据在传输过程中未被篡改。 - **属性说明**：表10列出了该组件的具体属性，包括选择参与计算校验和的字段、使用的校验和算法等。 #### 11. 字段选择组件（SelectValues） - **功能概述**：此组件用于选择、重命名、更改数据类型和配置精度。它可以执行选择并修改、移除和元数据更改三种操作。 - **应用场景**：在数据处理的早期阶段，使用此组件可以对字段进行精细化管理，确保后续处理的顺利进行。 - **属性说明**：表11详细列出了该组件的各项属性及其用途，包括选择需要处理的字段、配置新的数据类型和精度等。 #### 12. 字符串操作组件（StringOperations） - **功能概述**：此组件提供多种字符串操作功能，如修剪、填充等，适用于对字符串类型的字段进行处理。 - **应用场景**：在处理包含文本信息的数据时，此组件能够帮助优化字符串的格式和内容。 - **属性说明**：表12详细说明了该组件的属性，包括选择操作类型、指定填充字符等配置项。 #### 13. 字符串替换组件（ReplaceString） - **功能概述**：此组件支持基本的搜索和替换操作，同时也支持正则表达式的匹配。 - **应用场景**：在需要对文本字段中的特定模式进行替换时，此组件非常有用。 - **属性说明**：表13列出了该组件的具体属性，包括选择待处理的字段、定义搜索和替换的模式等。 #### 14. 将字段值设置为常量组件（SetValueConstant） - **功能概述**：该组件用于将指定字段的值设置为一个常量。 - **应用场景**：当需要将某字段的值统一设置为特定的常量值时，此组件非常实用。 - **属性说明**：表14提供了该组件的属性说明，包括选择待设置的字段、指定的常量值等配置选项。 #### 15. 拆分字段组件（FieldSplitter） - **功能概述**：此组件使用分隔符将字段拆分为多个字段。 - **应用场景**：在处理包含多个值的字段时，此组件可以帮助将这些值拆分到独立的字段中。 - **属性说明**：表15详细说明了该组件的属性，包括选择待拆分的字段、指定的分隔符等配置选项。 #### 16. 排序记录组件（SortRows） - **功能概述**：该组件能够根据指定的关键字对记录进行排序，是许多数据处理操作的基础。 - **应用场景**：在需要对数据进行排序以提高处理效率或满足特定需求时，此组件非常重要。 - **属性说明**：表16详细列出了该组件的属性，包括选择排序字段、排序方式等配置项。 #### 17. 数值范围组件（NumberRange） - **功能概述**：此组件用于指定一个数值字段的有效范围，超出该范围的值将被过滤掉。 - **应用场景**：在处理数值型数据时，此组件可以帮助过滤异常值，确保数据的质量。 - **属性说明**：表17详细说明了该组件的属性，包括选择待处理的字段、定义有效范围等配置项。 #### 18. 获取serverID组件（GetSlaveSequence） - **功能概述**：此组件从指定的从属服务器获取唯一ID，适用于分布式环境下的数据处理。 - **应用场景**：在需要为每条记录生成全局唯一标识符时，特别是在分布式系统中，此组件非常有用。 - **属性说明**：表18详细说明了该组件的属性，包括选择从属服务器、定义序列的范围等配置项。