【课程大纲】
01.Storm项目实战课程大纲
02.CDH5搭建之CM5安装部署
03.CDH5搭建和CM界面化集群管理
04.Hadoop、HBase、Zookeeper集群管理和角色分配
05.Kafka基础知识和集群搭建
06.Kafka基本操作和最优设置
07.Kafka Java API 简单开发测试
08.storm-kafka 详解和实战案例
09.S图表框架HighCharts介绍
10.HBase快速入门
11.基于HBase的Dao基类和实现类开发一
12.基于HBase的Dao基类和实现类开发二
13.项目1-地区销售额-需求分析和架构设计
14.项目1-地区销售额-Spout融合Kafka Consumer及线程安全测试
15.项目1-地区销售额-Bolt业务逻辑处理一
16.项目1-地区销售额-优化Bolt支持重启及结果数据核查
17.项目1-地区销售额-HighCharts图表开发一及Web端架构设计
18.项目1-地区销售额-HTTP长链接实现实时推送
19.项目1-地区销售额-HighCharts图表开发二及jquery运用
20.项目1-地区销售额-Web端完善和细节优化
21.项目1-地区销售额-项目发布及总结
22.项目1-地区销售额-项目需求分析和分区Trident Spout开发
23.项目1-地区销售额-Trident代码开发一
24.项目1-地区销售额-Trident代码开发二
25.项目1-地区销售额-基于HBase存储的State运用
26.项目2-省份销售排行-双纵轴HighCharts图表开发一
27.项目2-省份销售排行-双纵轴HighCharts图表开发二
28.项目2-省份销售排行-双纵轴HighCharts图表开发三
29.项目2-省份销售排行-前台和图表交互开发和Top N实现
30.项目2-省份销售排行-Top N展示优化和项目开发思路总结
31.项目2-效果展示及项目3需求分析梳理
32.项目3-非跳出UV-Storm topology开发一
33.项目3-非跳出UV-Storm topology开发二
34.项目3-非跳出UV-Web端Servlet开发
35.项目3-非跳出UV-Web端Highcharts图表开发
36.项目3-非跳出UV-项目效果调试
37.项目3-非跳出UV-项目整体运行
38.项目3-非跳出UV-升级图表增加柱图一
39.项目3-非跳出UV-升级图表增加柱图二
40.JStorm介绍
41.会员问题收集和解答
【Storm流计算项目：1号店电商实时数据分析系统】
在电商行业中，实时数据分析系统对于理解用户行为、优化用户体验以及制定营销策略至关重要。本项目聚焦于使用Storm进行实时数据分析，特别是针对非跳出用户视图（Non-Bounce User Views）的计算。非跳出UV是指至少浏览了两个及以上页面的用户数，它是衡量网站粘性与用户满意度的重要指标。
**项目3 - 非跳出UV的实时走势图**
在项目3中，主要任务是构建一个实时更新的非跳出UV图表，采用点追加的方式呈现数据变化。与之前的项目不同，这里的图表不是一次性加载所有数据，而是每次刷新时仅增加一个数据点，即[time, xValue, yValue]，其中time表示时间戳，xValue可能是用户ID或某种标识，yValue代表非跳出UV的数值。
**需求分析**
1. **数据存储**：由于数据点需要包含时间信息，HBase作为分布式数据库，可以用来存储这些具有时间序列特征的数据。设计HBase表结构时，需考虑到Highcharts图形的数据格式，以便高效地读取和更新数据。
2. **计算非跳出UV**：计算跳出数和非跳出UV涉及到会话（session）管理和计数。通常，Bolt组件通过fieldGrouping进行多线程局部汇总，接着在下一个Bolt中对session_id和count进行单线程处理，从而获得PV、UV和访问深度等信息。
3. **时间窗口**：为了准确计算非跳出UV，需要设置适当的时间窗口，确保在特定时间段内统计用户的浏览行为。
**架构设计与开发**
1. **Storm Topology**：利用Storm的强大流处理能力，构建处理数据流的拓扑结构。Topologies由Spouts和Bolts组成，Spout负责从数据源（如Kafka）中拉取数据，Bolt则执行数据处理任务，包括计算非跳出UV。
2. **Servlet设计**：后端使用Servlet创建HTTP长连接，定期从HBase中读取最新数据，并推送到前端的Highcharts图表。这种方式减少了不必要的全量数据刷新，提高了效率。
3. **Web端实现**：前端使用HighCharts库创建动态图表，每次接收到来自Servlet的数据点后，将其添加到图表上，形成实时更新的效果。
**项目调试与优化**
- **效果调试**：调试过程中，关注数据的准确性、图表的平滑性和系统的稳定性。确保每个数据点的插入无误，且图表能够正确反映出非跳出UV的变化趋势。
- **性能监控**：对Storm拓扑的执行性能进行监控，优化Bolt的并行度和资源分配，确保系统能够高效处理大量数据。
- **错误处理**：对可能出现的异常情况如网络中断、数据丢失等进行处理，确保系统的健壮性。
总结，本项目展示了如何使用Storm结合HBase和HighCharts构建一个实时的非跳出UV分析系统，涵盖了从数据采集、处理到结果展示的完整流程。这样的系统对于电商平台来说，不仅提供了实时的数据洞察，还能为决策者提供有价值的用户行为分析，有助于提升用户体验和业务运营效率。
