《ETL数据整合与处理(Kettle)》教学教案-08无人售货机项目实战.docx

"ETL数据整合与处理(Kettle)教学教案-08无人售货机项目实战" 本教案旨在指导学生学习ETL数据整合与处理的技能，通过Kettle组件实现无人售货机工程的数据处理和分析。课程目标是让学生熟悉并理解无人售货机的数据，掌握工程任务的流程和步骤，并学习使用Kettle组件的参数设置和应用。 一、教学目标与基本要求 * teaching target: + 熟悉并理解无人售货机的数据 + 掌握工程任务的流程和步骤 + 掌握多组件组合处理任务的方法 * 基本要求: + 了解工程的背景和业务数据 + 了解任务的流程和步骤 + 掌握任务使用的组件和参数设置 + 掌握浏览工程执行后结果和排错处理的方法 二、问题 * 引导性提问: + 从学习知识到工程实战需要做哪些准备？ + 为什么要了解工程背景和目标？ + 如何才能理解工程的业务数据？ + 工程的任务流程有什么用？ + 任务使用多个组件，根据什么来确定其操作顺序？ + 工程任务遇到困难时该怎么办？ * 探究性问题: + 能否简述工程任务流程？ + 人、售货机都是主体，无人售货机产生的主体数据有哪些？ + 客户订单信息表、客户订单详情文件中的数据有什么差异？ + 为什么有重复的订单号？ + 同一订单中如果购买3个商品，那么会产生几条订单记录？ + paytotalprice订单实际支付金额和productpaytotalprice商品实际支付金额有什么不同？ + 使用分组组件计算前为什么需要排序？ + 统计售货机的销售数据，为什么要使用记录关联？ + 什么场景下使用分组聚合统计或使用公式统计？ + 进行记录关联后，会产生那些重复记录？ + 统计客户消费金额，需要去除相同订单号的记录吗？为什么？ * 拓展性问题: + 计算售货机每年的统计数据，需要对那些字段进行字段剪切？ + 统计商品的销售金额，需要去除相同订单号的记录吗？为什么？ + 一个工程任务往往需要多个组件联合才能实现，如何判断中间数据是否正确？ 三、主要知识点、重点与难点 * 主要知识点: + 业务数据 + 工程任务流程 + 任务目标的数据业务要求 + 任务所使用的组件参数设置 + 组件的顺序和应用 + 任务的结果判断和排错 * 重点: + 熟悉和理解业务数据 + 理解任务的业务流程 + 任务场景中使用组件的顺序、参数设置和操作 + 各组件运行后的数据判断 + 任务结果数据是否正确 * 难点: + 业务数据的理解 + 目标任务的分解 + 各组件运行后的数据解读 + 任务执行的结果解读和排错 四、教学过程设计 * 理论教学过程: + 无人售货机工程的背景和目标 + 客户订单信息表、客户订单详情、无人售货机信息文件中的数据说明 + 分组聚合客户订单任务的数据需求、流程和实现步骤 + 各商品销售金额任务的数据需求、流程和实现步骤 + 各售货机日销售金额任务的数据需求、流程和实现步骤 + 各售货机情况任务的数据需求、流程和实现步骤 * 实验教学过程: + 理解分组聚合客户订单任务的数据需求和流程，创立转换工程和组件，统计聚合客户订单 + 理解计算各商品销售金额任务数据需求和流程，创立转换工程和组件，统计各商品销售金额 + 理解统计各售货机日销售金额任务数据需求和流程，创立转换工程和组件，统计各售货机销售金额 + 理解统计商品的年销售金额任务数据需求和流程，创立转换工程和组件，统计商品的年销售金额 + 理解售货机的产品销售金额任务数据需求和流程，创立转换工程和组件，统计售货机的产品销售金额，列出建议撤掉的5个地址的售货机数据 + 理解计算2018年售货机的商品销售金额任务数据需求和流程，创立转换工程和组件，统计计算2018年售货机的商品销售金额