【课程大纲】
01.Storm项目实战课程大纲
02.CDH5搭建之CM5安装部署
03.CDH5搭建和CM界面化集群管理
04.Hadoop、HBase、Zookeeper集群管理和角色分配
05.Kafka基础知识和集群搭建
06.Kafka基本操作和最优设置
07.Kafka Java API 简单开发测试
08.storm-kafka 详解和实战案例
09.S图表框架HighCharts介绍
10.HBase快速入门
11.基于HBase的Dao基类和实现类开发一
12.基于HBase的Dao基类和实现类开发二
13.项目1-地区销售额-需求分析和架构设计
14.项目1-地区销售额-Spout融合Kafka Consumer及线程安全测试
15.项目1-地区销售额-Bolt业务逻辑处理一
16.项目1-地区销售额-优化Bolt支持重启及结果数据核查
17.项目1-地区销售额-HighCharts图表开发一及Web端架构设计
18.项目1-地区销售额-HTTP长链接实现实时推送
19.项目1-地区销售额-HighCharts图表开发二及jquery运用
20.项目1-地区销售额-Web端完善和细节优化
21.项目1-地区销售额-项目发布及总结
22.项目1-地区销售额-项目需求分析和分区Trident Spout开发
23.项目1-地区销售额-Trident代码开发一
24.项目1-地区销售额-Trident代码开发二
25.项目1-地区销售额-基于HBase存储的State运用
26.项目2-省份销售排行-双纵轴HighCharts图表开发一
27.项目2-省份销售排行-双纵轴HighCharts图表开发二
28.项目2-省份销售排行-双纵轴HighCharts图表开发三
29.项目2-省份销售排行-前台和图表交互开发和Top N实现
30.项目2-省份销售排行-Top N展示优化和项目开发思路总结
31.项目2-效果展示及项目3需求分析梳理
32.项目3-非跳出UV-Storm topology开发一
33.项目3-非跳出UV-Storm topology开发二
34.项目3-非跳出UV-Web端Servlet开发
35.项目3-非跳出UV-Web端Highcharts图表开发
36.项目3-非跳出UV-项目效果调试
37.项目3-非跳出UV-项目整体运行
38.项目3-非跳出UV-升级图表增加柱图一
39.项目3-非跳出UV-升级图表增加柱图二
40.JStorm介绍
41.会员问题收集和解答
在本课程中，重点讲解了如何使用Storm进行实时数据分析，并结合Kafka进行Java API的开发与测试。我们了解到Kafka是一个分布式流处理平台，它最初由LinkedIn开发，后来成为Apache软件基金会的顶级项目。Kafka的主要特点是高吞吐量、持久化、容错性和灵活性，常用于构建实时数据管道和流应用。
Kafka Java API是Kafka提供的一种编程接口，允许开发者在Java环境中编写生产者和消费者应用。在第7部分"Kafka Java API 简单开发测试"中，我们可能会学习以下知识点：
1. **Kafka安装与配置**：包括下载Kafka源码，编译构建，以及配置Kafka服务器，理解broker、topic、partition等核心概念。
2. **创建Producer**：使用Java API创建Kafka生产者，设置配置参数如bootstrap servers，序列化方式（如JSON或String），并发送消息到特定主题。
3. **创建Consumer**：学习如何创建消费者实例，订阅主题，处理消费的数据。理解group ID和offset管理的重要性，确保数据的正确消费和幂等性。
4. **消息序列化与反序列化**：Kafka支持自定义序列化器，理解如何为生产者和消费者定义消息序列化和反序列化逻辑。
5. **错误处理和容错机制**：了解Kafka的重试策略，死信队列，以及如何通过配置提高系统的健壮性。
6. **性能调优**：探讨如何调整Kafka的配置参数以提高性能，如batch.size、linger.ms等，以及如何监控Kafka的运行状态。
7. **Kafka与Storm集成**：在Storm中，Kafka通常作为数据源，storm-kafka模块提供与Kafka的集成。我们将学习如何在Storm拓扑中使用KafkaSpout，接收Kafka中的实时流数据。
8. **测试与部署**：如何编写单元测试验证Kafka producer和consumer的正确性，以及如何在生产环境中部署和管理Kafka和Storm集群。
在这个课程中，除了Kafka和Storm的理论知识，还将通过一系列项目实战来加深理解。例如：
- **项目1：地区销售额分析**：涉及Kafka Consumer与Spout的集成，线程安全测试，Bolt的业务逻辑处理，以及利用HighCharts进行结果可视化。
- **项目2：省份销售排行**：主要关注图表开发，尤其是双纵轴HighCharts的实现，以及前端与图表的交互。
- **项目3：非跳出UV统计**：通过Storm Topology计算非跳出用户（UV），Web端Servlet开发，Highcharts图表显示，以及项目整体运行和优化。
这些项目不仅涵盖了Storm和Kafka的基础知识，还涉及HBase、Zookeeper、HTTP长连接、Web开发等多个领域，提供了一个全面的实时数据分析系统的实践场景。通过这些项目，学习者将能掌握从数据采集、处理到结果展示的完整流程，提升在大数据领域的实战能力。
