林子雨大数据技术原理与应用第八章课后题答案.docx

【大数据技术原理与应用——流数据处理】 流数据是指数据以大规模、快速、时变的流形式持续到达的一种数据类型，常应用于环境监测、社交媒体分析、金融交易等领域。例如，PM2.5传感器实时监测大气污染，数据源源不断地传输到数据中心进行实时分析，以便预测空气质量并采取相应措施。 流数据具有以下显著特点： 1. 数据连续不断地到达，可能无边界。 2. 数据来源多样，格式复杂，需要灵活处理。 3. 数据量巨大，但并不侧重长期存储，处理后通常被丢弃或归档。 4. 强调整体价值，对单个数据点的关注度相对较低。 5. 数据顺序不可控，可能丢失或不完整。 流计算针对流数据的需求包括： 1. 高性能：要求快速处理大量数据，如每秒数十万条记录。 2. 海量数据支持：应对TB乃至PB级别的数据规模。 3. 实时性：确保低延迟，通常是秒级或毫秒级响应。 4. 分布式架构：适应大数据环境，能够平滑扩展。 5. 易用性：简化开发和部署流程。 6. 可靠性：保证流数据处理的稳定性和准确性。 MapReduce框架不适合流数据处理的原因： 1. 原本设计用于批量处理，而非实时响应。 2. 将批处理转换为小批处理会导致额外开销，处理片段间的依赖复杂。 3. 改造MapReduce以支持流处理会增加系统复杂度，影响扩展性和维护。 尝试通过周期性启动MapReduce作业处理流数据并不理想，因为会增加开销，处理依赖关系复杂，且降低用户程序的可伸缩性。 常见的流计算框架包括： 1. 商业级：IBM InfoSphere Streams和IBM StreamBase。 2. 开源框架：Twitter Storm、Yahoo! S4。 3. 公司自研框架：Facebook PumaDstream（百度）、银河流数据处理平台（淘宝）。 流计算处理流程一般分为三步： 1. 数据实时采集：使用Agent收集数据，Collector接收并有序转发至Store。 2. 数据实时计算：对实时数据进行处理和分析。 3. 实时查询服务：提供用户实时查询结果。 与传统数据处理的区别： 1. 流计算处理实时数据，传统处理侧重静态历史数据。 2. 流计算结果即时，传统处理需主动查询。 数据实时采集系统通常包括： 1. Agent：负责数据采集并推送至Collector。 2. Collector：接收和可靠转发来自多个Agent的数据。 3. Store：存储转发后的数据。 流计算系统与传统处理系统的差异在于对数据的处理方式：流处理实时数据，传统处理静态数据，因此流计算能提供即时结果，而传统处理给出的是过去的状态。 流计算应用广泛： 1. 实时分析：如购物网站根据用户行为实时推荐商品。 2. 实时交通：整合实时数据，提供实时交通信息，助力城市规划和交通管理。 流计算适合处理不断到达的流数据，并对数据处理的实时性有较高要求的场景。