没有合适的资源?快使用搜索试试~ 我知道了~
Udacity-Data-Engineering-6:数据工程的顶峰项目
共31个文件
parquet:14个
gitkeep:4个
csv:3个
需积分: 9 0 下载量 132 浏览量
2021-03-14
19:56:27
上传
评论
收藏 37.42MB ZIP 举报
温馨提示
Udacity-数据工程-6 顶石项目 关于/简介 在数据工程的顶峰项目中,我结合了我在整个程序中学到的知识。 我从Udacity提供的包含四个数据集的项目开始。 主要数据集包括有关移民到美国的数据,补充数据集包括有关机场代码,美国城市人口统计数据和温度数据的数据。 所得数据集可用于分析前往美国的旅行和移民趋势。 目录 项目范围 我将研究四个数据集,分别是美国移民数据,美国城市人口统计信息,天气信息和机场数据。 所得数据集可用于分析前往美国的旅行和移民趋势。 我正在使用本地Spark实例来处理本地文件夹中的数据。 可以将项目代码升级为在具有Amazon S3上的数据的独立Amazon EMR Spark集群上工作。 我从获得了这一经验,因此我将重点更多地放在数据调查上,而不是构建生产级ETL管道。 项目数据集 I94移民数据:此数据来自。 数据字典包含在工作空间中。 我正在使用此数据集填充
资源推荐
资源详情
资源评论
收起资源包目录
Udacity-Data-Engineering-6-main.zip (31个子文件)
Udacity-Data-Engineering-6-main
dimension_data
I94Countries.csv 34KB
us-cities-demographics.csv 245KB
WTD-By-State.zip 5.34MB
airport-codes.csv 5.74MB
.gitkeep 1B
helper.py 4KB
output_data
.gitkeep 1B
schema
schema.vsd 169KB
I94-Labels-Descriptions.SAS 34KB
schema.png 32KB
.gitkeep 1B
Udacity-License 2KB
i94_data
part-00013-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.58MB
part-00008-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.19MB
part-00006-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.18MB
part-00001-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.27MB
part-00000-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.24MB
part-00012-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.18MB
part-00004-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.27MB
part-00002-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.26MB
part-00005-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.21MB
part-00011-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.23MB
part-00010-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.27MB
part-00003-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.24MB
part-00007-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.22MB
.gitkeep 1B
part-00009-b9542815-7a8d-45fc-9c67-c9c5007ad0d4-c000.snappy.parquet 3.19MB
explore_data.ipynb 155KB
data_dictionary.md 4KB
etl_test.ipynb 26KB
README.md 6KB
共 31 条
- 1
资源评论
蒋叶婷
- 粉丝: 34
- 资源: 4578
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功