目 录
1 绪论 ………………………………………………………………………………………………… 1
1.1 研究背景 …………………………………………………………………………………………… 1
1.2 国内外研究现状 …………………………………………………………………………………… 1
1.3 研究意义 …………………………………………………………………………………………… 2
1.4 研究内容 …………………………………………………………………………………………… 2
1.5 应用价值 …………………………………………………………………………………………… 2
2 核心工具和理论 …………………………………………………………………………………… 4
2.1 VMware …………………………………………………………………………………………… 4
2.2 Django 框架………………………………………………………………………………………… 4
2.3 Hadoop、Hive 和 Spark 技术……………………………………………………………………… 4
2.4 sqoop ……………………………………………………………………………………………… 4
3 基于 hive 的酒店价格数据可视化分析系统设计需求分析 ……………………………………… 5
3.1 功能需求 …………………………………………………………………………………………… 5
3.2 可行性分析 ………………………………………………………………………………………… 5
4 基于 hive 的酒店价格数据可视化分析系统设计 ………………………………………………… 6
4.1 总体框架 …………………………………………………………………………………………… 6
4.2 数据采集模块设计 ………………………………………………………………………………… 6
4.3 Hive 数据仓库模块设计…………………………………………………………………………… 6
4.4 数据可视化与用户交互模块设计 ………………………………………………………………… 7
5 数据采集模块实现 ………………………………………………………………………………… 9
5.1 数据来源选取 ……………………………………………………………………………………… 9
5.2 数据抓取 …………………………………………………………………………………………… 9
5.3 数据清洗 …………………………………………………………………………………………… 11
6 Hive 数据仓库模块实现 …………………………………………………………………………… 12
6.1 Hive 数据仓库搭建………………………………………………………………………………… 12
6.2 数据导入 …………………………………………………………………………………………… 13
7 数据可视化与用户交互模块实现 ………………………………………………………………… 14
7.1 数据展示页面实现 ………………………………………………………………………………… 14
7.2 用户交互模块实现 ………………………………………………………………………………… 14
8 系统测试 …………………………………………………………………………………………… 17
8.1 功能测试 …………………………………………………………………………………………… 17
8.2 测试结果 …………………………………………………………………………………………… 18
结论……………………………………………………………………………………………………… 19
