2大数据的概念.doc

一、大数据概念 "大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统 数据库工具对其内容进行抓取、管理和处理。 "大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但 在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次 是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了 以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度 （Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个 特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新 数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实 性及安全性。 百度知道—大数据概念 大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流 软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极 目的的资讯。大数据的4V特点：Volume、Velocity、Var 大数据，这个概念自诞生以来，已经深深地影响了全球信息技术领域，尤其在商业智能、数据分析以及企业决策方面。大数据，简而言之，是指那些超出了传统数据库处理能力的、大规模、多类型、高速度且真实性的数据集合。它不再局限于结构化数据，而是包括了半结构化和非结构化数据，如社交媒体数据、图像、音频、视频等。 大数据的四个核心特征，即4V，分别是： 1. 体积（Volume）：大数据的容量巨大，通常以TB、PB甚至EB为单位，现在许多企业处理的数据量已经远远超过了10TB，有的甚至达到了PB级别。 2. 速度（Velocity）：数据产生的速率极快，需要实时或近实时地进行处理。例如，社交媒体上的实时评论、交易系统的瞬间交易记录等。 3. 多样性（Variety）：数据来源广泛，涵盖各种类型和格式，包括结构化、半结构化和非结构化数据，如XML、JSON、图片、视频、音频、文本等。 4. 真实性（Veracity）：大数据强调数据的质量和真实性，因为只有准确无误的数据才能为企业提供有价值的洞察和决策支持。 大数据技术是应对这些海量数据挑战的关键。它们主要包括： 1. 数据采集：使用ETL（提取、转换、加载）工具从各种数据源抽取数据，经过清洗、转换和集成，然后加载到数据仓库或数据湖中。 2. 数据存取：包括关系数据库如MySQL，NoSQL数据库如MongoDB，以及SQL-on-Hadoop解决方案，如Hive和Pig，用于高效存储和访问大数据。 3. 基础架构：云计算平台如Amazon AWS提供了分布式文件存储系统如Hadoop HDFS，以支持大数据的分布式处理。 4. 数据处理：自然语言处理（NLP）是大数据处理的重要部分，用于解析和理解人类语言，以进行情感分析、语义搜索等任务。 5. 统计分析：通过各种统计方法如假设检验、回归分析等，从大数据中发现模式和趋势。 6. 数据挖掘：包括分类、聚类、关联规则分析等，帮助发现数据之间的潜在联系和规律。 7. 模型预测：借助机器学习算法，建立预测模型，如随机森林、神经网络，用于预测未来趋势或行为。 大数据的应用广泛，涵盖金融风控、市场营销、医疗健康、城市智慧化等多个领域。它不仅改变了企业的运营方式，还推动了新的商业模式和创新。尽管大数据的定义可能存在一定的模糊性，但其核心始终是如何有效地利用这些海量信息，实现价值最大化。因此，理解和掌握大数据的概念及其技术，对于企业和社会的发展至关重要。