利用Spoon进行的实验
【实验目的】
熟悉Kettle，pyecharm，matplotplb，MySQL+Workbench等软件的使用。
【实验要求】
将光碟租赁点存放在MySql数据库sakila中的记录整个租赁行为以及表征租赁内容的数据加载到数据仓库sakila dwh中，然后再对数据仓库中的数据使用Python的matplotlib库做数据的可视化。
【实验报告】
在《数据预处理实践》课程中，本次实验旨在深入理解并熟练运用Kettle（Pentaho Data Integration，简称Kettle）这一数据集成工具，以及与之相关的pyecharm、matplotlib和MySQL+Workbench等软件。实验的主要任务是将MySQL数据库sakila中的租赁业务数据迁移到数据仓库sakila_dwh，并通过Python的matplotlib库对数据仓库中的数据进行可视化分析。
【实验原理】
数据预处理是大数据处理的关键环节，包括数据清洗、数据转换、数据加载等多个步骤。Kettle作为一款强大的ETL（Extract, Transform, Load）工具，能够有效地从各种数据源抽取数据，进行转换处理，并将其加载到目标数据存储。在本实验中，我们利用Kettle的图形化界面Spoon来设计和执行数据处理流程。
【实验步骤】
1. 数据准备：创建两个MySQL数据库，sakila用于存放原始业务数据，sakila_dwh作为数据仓库。通过运行SQL脚本sakila.sql和sakila_dwh.sql，分别将数据导入到对应的数据库中。
2. 设计Kettle转换：转换一是加载员工维度表（dim_staff）。获取员工数据，并查找最大更新日期。然后，使用"表输入"控件从rental表中选取所需字段，删除不必要的字段，调整数据类型和格式。对于active字段，将Y和N映射为YES和NO，其他情况设为NO。接着，处理缓慢变化维度表，更新staff_version_number，设置staff_key为自增主键。
3. 转换二是加载客户维度表（dim_customer）。同样地，获取最大更新时间，从多个表（store、address、city、country）中获取客户信息，调整数据类型和格式，处理active字段，并处理缓慢变化维度表，更新customer_version_number，设置customer_key为自增主键。
4. 数据加载：将经过转换的数据加载到sakila_dwh的数据仓库中，构建维度表和事实表。
5. 数据可视化：使用Python的matplotlib库对数据仓库中的数据进行分析，如租赁行为趋势、客户分布等，以直观展示数据的特征和模式。
【实验总结】
通过本次实验，学生不仅掌握了Kettle的基本操作，如创建转换、设置数据库连接、执行SQL查询、数据类型转换等，还了解了数据仓库的设计和构建，以及Python数据分析的基础。此外，实验也强化了对MySQL数据库管理和数据可视化的实践能力，为后续的大数据处理和分析奠定了坚实的基础。
