【课程大纲】
01.Storm项目实战课程大纲
02.CDH5搭建之CM5安装部署
03.CDH5搭建和CM界面化集群管理
04.Hadoop、HBase、Zookeeper集群管理和角色分配
05.Kafka基础知识和集群搭建
06.Kafka基本操作和最优设置
07.Kafka Java API 简单开发测试
08.storm-kafka 详解和实战案例
09.S图表框架HighCharts介绍
10.HBase快速入门
11.基于HBase的Dao基类和实现类开发一
12.基于HBase的Dao基类和实现类开发二
13.项目1-地区销售额-需求分析和架构设计
14.项目1-地区销售额-Spout融合Kafka Consumer及线程安全测试
15.项目1-地区销售额-Bolt业务逻辑处理一
16.项目1-地区销售额-优化Bolt支持重启及结果数据核查
17.项目1-地区销售额-HighCharts图表开发一及Web端架构设计
18.项目1-地区销售额-HTTP长链接实现实时推送
19.项目1-地区销售额-HighCharts图表开发二及jquery运用
20.项目1-地区销售额-Web端完善和细节优化
21.项目1-地区销售额-项目发布及总结
22.项目1-地区销售额-项目需求分析和分区Trident Spout开发
23.项目1-地区销售额-Trident代码开发一
24.项目1-地区销售额-Trident代码开发二
25.项目1-地区销售额-基于HBase存储的State运用
26.项目2-省份销售排行-双纵轴HighCharts图表开发一
27.项目2-省份销售排行-双纵轴HighCharts图表开发二
28.项目2-省份销售排行-双纵轴HighCharts图表开发三
29.项目2-省份销售排行-前台和图表交互开发和Top N实现
30.项目2-省份销售排行-Top N展示优化和项目开发思路总结
31.项目2-效果展示及项目3需求分析梳理
32.项目3-非跳出UV-Storm topology开发一
33.项目3-非跳出UV-Storm topology开发二
34.项目3-非跳出UV-Web端Servlet开发
35.项目3-非跳出UV-Web端Highcharts图表开发
36.项目3-非跳出UV-项目效果调试
37.项目3-非跳出UV-项目整体运行
38.项目3-非跳出UV-升级图表增加柱图一
39.项目3-非跳出UV-升级图表增加柱图二
40.JStorm介绍
41.会员问题收集和解答
【Storm流计算项目：1号店电商实时数据分析系统-37.项目3-非跳出UV-项目整体运行】
本项目是关于使用Storm进行实时数据分析，特别是针对非跳出UV（非跳出用户视图）的实时监控。非跳出UV是指在网站上访问了不止一个页面的用户数量，对于电商网站而言，这一指标对于评估用户体验和网站粘性至关重要。
在项目3的需求分析中，主要目标是构建一个能够显示非跳出User Views的实时走势图。这个图需要具备点追加功能，即每次更新时只添加新的数据点，而不是重新加载整个图表。Highcharts是一种常用的图表库，它允许我们以[xValue, yValue]的形式表示每个数据点，而在该项目中，每个点还需包含时间属性[time, xValue, yValue]。因此，HBase数据存储的结构需与Highcharts的数据格式相匹配，以适应这种动态更新的需求。
计算非跳出UV的关键在于跟踪用户的浏览行为。一种常见的方法是在Bolt组件中使用fieldGrouping进行多线程局部汇总，然后在下一个Bolt组件中进行单线程处理，记录session_id和对应的页面浏览次数。这样可以计算出每个用户的PV（页面浏览量）和UV，进一步筛选出PV大于等于2的用户，即非跳出用户。
项目的设计遵循了一种通用的架构模式，包括：
1. **数据获取**：通过Spout融合Kafka Consumer从数据源获取实时的用户浏览事件。
2. **数据处理**：使用Bolt组件进行数据清洗、转换和计算，例如统计PV、UV以及访问深度。
3. **状态存储**：利用HBase作为持久化存储，将计算结果以合适的数据结构存储，便于后续查询和更新。
4. **结果推送**：Servlet设计为HTTP长连接，定期从HBase读取最新数据，并推送到Web端的Highcharts图表，每次只推送一个新数据点。
5. **前端展示**：Web端使用Highcharts和jQuery等技术实现动态图表，并与后端进行交互，实现Top N等实时展示优化。
项目的实施过程中，需要注意的问题包括如何高效地进行数据聚合，如何确保在高并发下的数据一致性，以及如何优化HTTP长连接以保证实时数据推送的稳定性和效率。通过这种方式，1号店电商实时数据分析系统能够提供对非跳出UV的实时洞察，帮助企业更好地理解用户行为，提升用户体验，从而提高转化率和用户满意度。
