目录
大数据专业实习报告........................................................................................................................1
1. 项目概述.......................................................................................................................................5
1.1. 项目背景............................................................................................................................5
1.2. 项目流程............................................................................................................................5
2. 功能需求描述...............................................................................................................................6
2.1. 系统功能组成....................................................................................................................6
2.2. 数据描述............................................................................................................................6
2.3. 功能描述............................................................................................................................8
2.3.1. 流量概况分析.........................................................................................................8
2.3.2. 日新日活分析.........................................................................................................8
2.3.3. 交互事件分析.........................................................................................................9
2.3.4. 广告事件分析.........................................................................................................9
3. 架构设计.......................................................................................................................................9
3.1. 名词解释............................................................................................................................9
3.2. 系统环境............................................................................................................................9
3.2.1. 软件.........................................................................................................................9
3.2.2. 硬件.........................................................................................................................9
3.3. 系统设计............................................................................................................................9
3.4. 系统架构图......................................................................................................................10
4. Web 原型设计 .............................................................................................................................10
4.1. 流量概况分析模块..........................................................................................................10
4.2. 日新日活分析模块..........................................................................................................11
4.3. 交互事件分析模块..........................................................................................................11
4.4. 广告事件分析模块..........................................................................................................12
5. Web 设计 .....................................................................................................................................12
5.1. 概念总览图......................................................................................................................12
5.1.1. 分层：四层结构...................................................................................................13
5.1.2. 分包：前端和后端...............................................................................................13
6. 数仓表结构设计.........................................................................................................................15
7. 工程搭建.....................................................................................................................................16
7.1. 项目结构..........................................................................................................................16
7.2. 修改父项目的 pom 文件.................................................................................................17
8. 字典构建.....................................................................................................................................18
8.1. 编写构造 SparkSession 函数 ..........................................................................................18
8.2. 地理位置字典构建..........................................................................................................19
8.2.1. 提取数据库中地理位置的经纬度.......................................................................19
8.2.2. 将 geo 坐标转变为 hashgeo 编码........................................................................21
8.3. id 映射字典构建...............................................................................................................25
8.3.1. 在父项目 pom 中添加 fastjson 依赖 ...................................................................25
8.3.2. 在 dataware 子项目中添加 graphx 依赖 .............................................................26
- 1
- 2
前往页