大数据存储与应用数据流挖掘.pptx

【大数据存储与应用数据流挖掘】是一门关注于如何在海量数据环境中处理和分析数据的课程。这门课程探讨了如何在有限存储条件下对不断流入的流数据进行实时处理，以满足各种业务需求，如搜索引擎优化、社交媒体热点追踪以及网络安全监控。 **流数据模型** 流数据模型描述的是数据以连续、非停止的方式进入系统的情况，例如搜索引擎的查询请求、微博更新或传感器网络的信号。这种数据的特点是无穷无尽且非平稳，其到达速率由用户行为决定，系统无法控制。处理流数据时，面临的挑战包括存储限制和实时处理需求。 **系统与查询** 流数据处理系统需要应对源源不断的输入，并能实时响应两种类型的查询：固定查询（standing query）和adhoc查询。固定查询如历史最高温度，始终运行并提供持续的统计信息；adhoc查询则是在存储有限的数据基础上回应临时的问题。 **抽样（Sampling）** 抽样是处理大数据的关键技术，主要有固定比率抽样和固定Size抽样。固定比率抽样常用于估算用户重复行为，如搜索引擎中的用户搜索重复率，但直接按查询抽样可能会导致偏差。正确的方法是对用户进行抽样，如使用哈希函数将用户分桶，只保留选定桶内的用户查询。固定Size抽样则保证了过去所有元素进入采样集的概率均等，但实现时需考虑存储限制。新元素进入采样集的概率随着总元素数量的增加而降低，同时需要剔除策略来保持样本大小不变。 **过滤与计数** 过滤（Filtering）允许选择具有特定属性的元素，例如白名单过滤，用于统计特定查询或页面的访问次数。计数（Counting）在窗口内进行，如计算一段时间内不同元素的数量，或者评估元素的流行程度（Popularity）。窗口可以是固定大小或滑动的，后者常用于追踪动态变化的热门趋势。 **应用实例** - Google通过查询流发现最流行的搜索关键词； - Yahoo分析最热门的页面； - 微博上追踪最热话题； - 在传感器网络、电话记录、棱镜门项目中，抽样用于流量统计、优化路由、检测DDoS攻击等。 大数据存储与应用数据流挖掘涉及了数据模型、系统设计、实时查询处理、抽样理论及其实现策略，以及这些技术在各种实际场景中的应用。通过学习和掌握这些知识，我们可以更有效地管理和利用大数据，从而为业务决策、产品优化和安全保障提供有力支持。