使用Spark构建Data Lake的示例项目
启动预装了Spark的AWS EMR集群
使用PySpark创建了ETL管道
创建了1个事实表和4个维表作为实木复合地板文件加载回S3。
笔记
Song metadata是最初来自http://millionsongdataset.com/的子集。
Log data集正在模拟一个名为Sparkify的虚构音乐流应用程序上的用户活动。
这两个数据集都位于Udacity的S3存储桶中，可以在以下位置找到：
s3://udacity-dend/log_data
s3://udacity-dend/song_data
ETL管道
ETL管道etl.py使用Python（PySpark）和Spark SQL：
从s3中提取json文件
将它们转换为PySpark DataFrames
将它们作为拼花文件重新加载到s3中，以进行分析
运行ET
