大数据导论复习资料.docx

大数据导论复习资料.docx 大数据概述 大数据的概念：大数据是指无法在一定时间范围内用传统数据库管理工具和传统数据处理方法来 Capture、存储、管理和处理的数据集合。 大数据的特征：包括数据的高速生成、数据的多样化、数据的巨大规模、数据的复杂性等四个方面。 大数据的数据类型：包括结构化数据、半结构化数据、非结构化数据等。 大数据的技术：包括数据挖掘、数据仓库、数据 mining 等。 大数据的应用：包括商业智能、科学研究、医疗保健、金融服务等。 大数据采集与预处理 大数据采集：包括数据的获取、数据的存储、数据的处理等。 数据预处理概述：包括数据清洗、数据集成、数据变换、数据规约等。 数据清洗：包括删除无效数据、处理缺失值、处理异常值等。 数据集成：包括数据合并、数据匹配、数据聚合等。 数据变换：包括数据规范化、数据聚合、数据转换等。 数据规约：包括数据抽样、数据分区、数据压缩等。 大数据存储 大数据存储概述：包括数据存储介质、存储系统结构、云存储概述等。 数据存储介质：包括硬盘、固态硬盘、闪存等。 存储系统结构：包括存储系统架构、存储系统性能优化等。 云存储概述：包括云存储定义、云存储类型、云存储架构等。 云存储技术：包括对象存储、块存储、文件存储等。 新型数据存储系统：包括分布式文件系统、NoSQL数据库、NewSQL数据库等。 大数据计算平台 云计算概述：包括云计算定义、云计算类型、云计算架构等。 云计算平台：包括Amazon Web Services、Microsoft Azure、Google Cloud Platform等。 MapReduce平台：包括MapReduce定义、MapReduce架构、MapReduce应用等。 Hadoop平台：包括Hadoop定义、Hadoop架构、Hadoop应用等。 Spark平台：包括Spark定义、Spark架构、Spark应用等。 大数据分析与挖掘 大数据分析概述：包括大数据分析定义、大数据分析类型、大数据分析架构等。 大数据挖掘：包括关联规则挖掘、分类挖掘、聚类挖掘、预测挖掘等。 大数据关联分析：包括关联规则挖掘、关联规则学习、关联规则应用等。 大数据分类：包括分类算法、分类模型、分类应用等。 大数据聚类：包括聚类算法、聚类模型、聚类应用等。 大数据可视化 大数据可视化概述：包括大数据可视化定义、大数据可视化类型、大数据可视化架构等。 大数据可视化方法：包括数据可视化技术、数据可视化工具、数据可视化应用等。 大数据可视化工具：包括Tableau、Power BI、D3.js等。 社交大数据 社交大数据：包括社交网络大数据、社交媒体大数据、社交分析大数据等。 国内社交网络大数据的应用：包括用户画像、用户行为分析、用户兴趣爱好分析等。 国外社交网络大数据的应用：包括Facebook大数据、Twitter大数据、Instagram大数据等。 交通大数据 交通大数据：包括交通监测大数据、交通网络大数据、交通数据分析大数据等。 交通监测应用：包括交通流量监测、交通速度监测、交通拥堵监测等。 预测人类移动行为应用：包括人类移动行为预测、人类移动行为分析、人类移动行为挖掘等。 医疗大数据 医疗大数据：包括医疗数据分析、医疗数据挖掘、医疗数据可视化等。 临床决策分析应用：包括临床决策支持系统、临床决策分析模型、临床决策分析应用等。 医疗数据系统分析：包括医疗数据仓库、医疗数据挖掘、医疗数据可视化等。 大数据的挑战与发展趋势 大数据发展面临的挑战：包括数据质量挑战、数据安全挑战、数据隐私挑战等。 大数据的发展趋势：包括大数据技术发展趋势、大数据应用发展趋势、大数据产业发展趋势等。