大数据课堂测验.pdf

【大数据概述】 大数据是指来自各种来源的海量、高速度、多样化的信息资产，它需要采用新的处理模式以增强决策制定、洞察发现和流程优化。大数据的来源广泛，涵盖了信息管理系统、网络信息系统、物联网系统和科学实验系统等。数据类型包括构造化数据（如数据库中的表格数据）、半构造化数据（如XML文件）和非构造化数据（如文本、图片、音频、视频）。 【大数据处理流程】 大数据处理通常分为四个步骤：数据抽取与集成，涉及从各种来源获取和整合数据；数据分析，对数据进行清洗、转换和预处理；数据解释，通过统计分析和数据挖掘揭示数据背后的模式和趋势；结果呈现，将发现的信息以易于理解的形式展示给决策者。 【大数据的特征】 大数据的4V特征包括：Volume（体积），指数据的海量性；Variety（多样性），指数据的类型和来源丰富；Value（价值），强调数据中有价值的信息；Velocity（速度），强调数据的生成和处理速度；On-Line（在线性），表示数据实时在线处理的能力。 【大数据技术架构】 适合大数据的四层堆栈式技术架构通常包括：数据采集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测和结果呈现等。关键技术包括大数据采集、预处理、存储、管理、安全、分析挖掘和展现应用。 【新一代数据体系】 新一代数据体系引入了线上行为数据和容数据两大类别，扩展了传统数据体系的边界，涵盖了更多类型的新数据源。 【EDC系统】 临床试验电子数据采集系统（EDC）是一种通过互联网从试验中心直接收集临床试验数据的系统，能提高数据质量和研究效率，支持多语言，并具有数据录入、导出、试验设计、编辑检查等功能。 【大数据采集】 大数据的三大主要来源为商业数据、互联网数据和传感器数据。网络数据采集和处理通常由网络爬虫、数据处理、URL队列和数据存储四个模块组成，分别负责抓取、处理、存储和管理数据。 【数据集成与挑战】 数据集成技术在大数据中扮演重要角色，需解决数据转换、迁移、格式统一和信息抽取等问题。这个过程通常涉及并行处理，以处理分布式数据并返回整合的结果。 【大数据建模与分析】 大数据建模用于理解和抽象事物，包括定义问题、数据理解、准备、建模、评估和部署。根据实时性、数据规模和算法复杂度，分析模式可以分为在线分析、离线分析、存级、BI级和海量级。 【数据可视化】 数据可视化技术将数据转化为图形，帮助用户发现未知信息。数据可视化工具通常具有实时性、易操作性、丰富的展示形式和多样的数据集成支持方式，广泛应用于生物领域的测序数据、分子结构数据、关系网络和临床数据的展示。 【Hadoop及其优点】 Hadoop是开源的大数据处理框架，以其可扩展性、经济性、高效性和可靠性而知名。核心模块包括HDFS（分布式文件系统）、MapReduce（分布式计算）、YARN（资源调度器）和守护进程，提供大规模数据存储和计算能力。 【YARN设计思想】 YARN将JobTracker拆分为ResourceManager和ApplicationMaster，分离资源管理和任务调度，提高了系统资源利用率和应用程序的灵活性。 总结来说，大数据是现代信息技术领域的一个重要概念，涉及到数据的获取、存储、处理、分析和可视化等多个环节。通过高效利用大数据，企业、科研机构和个人能够更好地理解和利用信息，推动决策的科学性和精准性。