大数据分析·原理与实践 11、大数据分析算法 大数据分析算法全文共29页,当前为第1页。 目录 概述 关联规则挖掘算法 分类算法 聚类算法 1 2 3 4 大数据分析算法全文共29页,当前为第2页。 目录 概述 关联规则挖掘算法 分类算法 聚类算法 1 2 3 4 大数据分析算法全文共29页,当前为第3页。 概述 大数据分析算法的分类 实时分析算法 实时获取数据,响应时间要求为秒级甚至毫秒级。 弱实时分析算法 面向有用户参与的分析任务,响应时间要求为分钟到小时。 非实时分析算法 处理数据仓库中的大规模数据,响应时间比较宽松,可以达到天甚至月。 按实时性的要求分类 大数据分析算法全文共29页,当前为第4页。 概述 应用实例 一些分析任务必须实时处理 在工业生产过程中,一些分析任务必须实时处理,例如生产线上的产品错误的实时发现和纠正、设备故障的实时监测和修理。 获取实时数据 这些任务需要使用生产线的实时数据,只有这样,使用的数据才能体现出产品或者设备的当前状态。 实时分析算法 大数据分析算法全文共29页,当前为第5页。 概述 应用实例 与用户交互 工业企业的一些分析任务需要和管理者交互完成,例如库存优化等。 时间约束 这些任务的实时性不强,但参与者不可能等太久。此外,太长时间也会导数数据的参考价值降低。 弱实时分析算法 大数据分析算法全文共29页,当前为第6页。 概述 应用实例 长期决策 一些工业大数据分析任务涉及长期决策,为了做出正确的决策,需要尽可能全面地使用大规模历史数据,例如工艺优化。 准确性更为重要 这些分析的结果对于企业的生产和经营有着较重要的影响,相对于计算时间,分析的准确性更加重要。 非实时分析算法 红土镍矿全元素分解工艺流程图 大数据分析算法全文共29页,当前为第7页。 概述 大数据分析算法的设计技术 什么是随机算法 随机算法是使用了随机函数的算法,且随机函数的返回值直接或者简介地影响了算法的执行流程或执行结果。 只分析少部分数据 利用随机算法,我们可以用少部分数据的分析结果实现对整体数据分析结果的估计。 随机算法 大数据分析算法全文共29页,当前为第8页。 概述 大数据分析算法的设计技术 什么是外存算法 外存算法指的是在算法执行过程中用到外存的算法。 为什么要使用外存 在很多情况下,由于内存的限制,大数据必须存储在外存中。在一些情况下,大数据分析过程中的中间结果无法放到内存中,而必须使用外存。 外存算法 大数据分析算法全文共29页,当前为第9页。 概述 大数据分析算法的设计技术 什么是并行算法 并行算法是指用多台处理器联合求解问题的算法。 MapReduce算法是比较典型的数据密集型并行算法。 并行算法 MapReduce体系结构 大数据分析算法全文共29页,当前为第10页。 概述 大数据分析算法的设计技术 什么是Anytime算法 Anytime算法,也称"任意时间算法"。在Anytime算法结束前,终止其执行,我们也能得到一个合法的结果。 这类算法跑的时间越久,返回的结果越准确。 Anytime算法 为什么需要Anytime算法 由于大数据规模很大,计算资源和时间约束不足以对数据进行精确分析,这就需要根据结果质量要求调配资源或者根据资源自适应调整结果质量。如在线聚集算法。 大数据分析算法全文共29页,当前为第11页。 目录 概述 关联规则挖掘算法 分类算法 聚类算法 1 2 3 4 大数据分析算法全文共29页,当前为第12页。 关联规则挖掘算法 频繁模式挖掘 频繁模式挖掘 一个经典的案例是购物篮分析,分析顾客的购物习惯。比如,顾客购买了牛奶,有多大可能也购买面包?将二者放在一起,是否会增加二者的销量。 在医疗方面,患者患有某种疾病后,患其他一些疾病的概率会增大。通过对疾病的频繁模式进行挖掘,有助于医生为患者设计治疗方案。 频繁模式 频繁模式时指频繁出现在数据集中的模式。 频繁模式挖掘 大数据分析算法全文共29页,当前为第13页。 关联规则挖掘算法 Apriori算法 问题 寻找频繁项集,即满足给定的最小支持度的项集。 支持度 在数据库 中支持度是 中事务同时包含 、 的百分比。 如"A C"的支持度为0.4。 要解决的问题 交易数据库D 事务编号 商品 10 A, C, D 20 B, C, E 30 A, B, C, E 40 B, E 大数据分析算法全文共29页,当前为第14页。 关联规则挖掘算法 Apriori算法 暴力搜索? 一个简单的想法是使用枚举的出所有D中的子集,然后分别计算它们的支持度。但这计算量是极大的。 Apriori的思想 从小到大,逐层搜索。 算法思想 交易数据库D 事务编号 商品 10 A, C, D 20 B, C, E 30 A, B, C, E 40 B, E 大数据分析算
剩余28页未读,继续阅读
- 粉丝: 168
- 资源: 3万+
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助