没有合适的资源?快使用搜索试试~ 我知道了~
火车订票系统java源码-big-data-platforms:使用Flink进行流式分析
共31个文件
png:11个
py:4个
md:4个
需积分: 16 0 下载量 141 浏览量
2021-06-06
19:19:37
上传
评论
收藏 8.23MB ZIP 举报
温馨提示
火车订票系统java源码作业 3 802020 对于这个作业,我使用了 Python、Java、RabbitMQ 和 Flink。 第 1 部分 - 流分析设计 1) 选择适合客户流分析的数据集作为运行示例(因此数据的基本单位应该是离散的记录/事件数据)。 为客户解释数据集和至少两种不同的分析:(i) 分析来自客户 (customerstreamapp) 的流数据的流分析和 (ii) 分析流分析输出的历史结果的批处理分析。 解释应该是高层次的,让我们能够理解数据和可能的分析,以便以后你可以实施和使用它们来回答其他问题。 所选数据集是 Yellow Taxi Trip Records 的修改版本。 我删除了一些列,并且只保留了 70 万行用于测试目的 ()。 然后,使用脚本,我将所有日期和时间数据更改为时间戳(从 1/1/1970 开始的秒数),我还删除了标题以简化过程 ()。 我使用这个最终数据集作为流的事件集合。 事件定义为: tpep_pickup_datetime (int):客户取货的日期和时间(表示为从 1/1/1970 开始经过的秒数)。 passenger_count (
资源推荐
资源详情
资源评论
收起资源包目录
big-data-platforms-master.zip (31个子文件)
big-data-platforms-master
AssignmentGuideline.md 3KB
logs
stream_sender_errors.log 279KB
analytics_receiver.log 714KB
stream_sender.log 349KB
git.log 5KB
data
Yellow_Taxi_Trip_Data_700k.csv 20.16MB
code
customerstreamapp
pom.xml 8KB
src
main
resources
log4j.properties 1KB
java
fi
aalto
cs
cse4640
CustomerStreamApp.java 7KB
dependency-reduced-pom.xml 7KB
customerstreamapp.iml 5KB
scripts
analytics_receiver.py 822B
stream_sender.py 950B
change_date_format.py 1KB
stream_sender_test_errors.py 1KB
requirements.txt 12B
.gitignore 58B
README.md 20KB
reports
schema_1.png 448KB
input.png 53KB
Assignment-3-Deployment.md 2KB
Assignment-3-Design.md 19KB
config.png 124KB
input_filtered.png 66KB
flink_20.png 100KB
schema_3_0.png 654KB
schema_3.png 685KB
analytic_rec.png 243KB
schema_2.png 497KB
flink_parall_4.png 115KB
flink4.png 34KB
共 31 条
- 1
资源评论
weixin_38731239
- 粉丝: 5
- 资源: 895
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功