大数据.docx

大数据全文共6页，当前为第1页。大数据全文共6页，当前为第1页。大 数 据 大数据全文共6页，当前为第1页。 大数据全文共6页，当前为第1页。 大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。 大数据的定义 大数据由巨型数据集组成，这些数据集大小常超出人类在可接受时间下的收集、庋用、管理和处理能力。大数据的大小经常改变，截至2012年，单一数据集的大小从数太字节（TB）至数十兆亿字节（PB）不等。 　　在一份2001年的研究与相关的演讲中，麦塔集团（META Group，现为高德纳）分析员道格·莱尼（Doug Laney）指出数据增长的挑战和机遇有三个方向：量（Volume，数据大小）、速（Velocity，数据输入输出的速度）与多变（Variety，多样性），合称"3V"或"3Vs"。高德纳与现在大部分大数据产业中的公司，都继续使用3V来描述大数据。高德纳于2012年修改对大数据的定义："大数据是大量、高速、及/或多变的信息资产，它需要新型的处理方式去促成更强的决策能力、洞察力与最优化处理。"另外，有机构在3V之外定义第4个V：真实性（Veracity）为第四特点。 　　大数据必须借由计算机对数据进行统计、比对、解析方能得出客观结果。美国在2012年就开始着手大数据，奥巴马更在同年投入2亿美金在大数据的开发中，更强调大数据会是之后的未来石油。数据挖掘（data mining）则是在探讨用以解析大数据的方法。 大数据的特点 具体来说，大数据具有4个基本特征： 　　一是数据体量巨大。百度资料表明，其新首页导航每天需要提供的数据超过1.5PB（1PB=1024TB），这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前为止，人类生产的所有印刷材料的数据量仅为200PB。 　　二是数据类型多样。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。 　　三是处理速度快。数据处理遵循"1秒定律"，可从各种类型的数据中快速获得高价值的信息。 　　四是价值密度低。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒 大数据的作用 第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。 　　大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。 　　第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。 　　第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从"业务驱动" 转变"数据驱动"。 　　对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。 大数据全文共6页，当前为第2页。大数据全文共6页，当前为第2页。　　第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。 大数据全文共6页，当前为第2页。 大数据全文共6页，当前为第2页。 大数据的分析 众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论 大数据是21世纪信息时代的全新概念，它涉及的是海量、多类型、高速度以及低价值密度的数据集合，这些数据在传统软件工具下难以处理。大数据技术的核心在于从这些庞杂的数据中快速提取有价值的信息，这其中包括了大规模并行处理数据库、数据挖掘网格、分布式文件系统、分布式数据库、云计算平台等技术的综合运用。 大数据的特性通常概括为“3V”模型，即量（Volume）、速（Velocity）和多变（Variety）。量指的是数据的海量规模，从TB到PB甚至EB级别；速则反映了数据生成和处理的速度，要求实时或近实时处理；多变则体现在数据的多样性，包括文本、图像、视频等多种格式。此外，还有些定义增加了真实性（Veracity）这一维度，确保数据的准确性和可信度。 大数据分析是挖掘其中价值的关键步骤，通常涉及多种方法： 1. 可视化分析：通过图表、图形等形式直观展示数据，便于理解和决策。 2. 预测分析：运用统计学和机器学习技术预测趋势和模式，为企业规划和决策提供依据。 3. 实时分析：针对快速流动的数据进行即时处理，例如流式计算。 4. 数据挖掘：寻找数据中的模式、关联和规则，发现隐藏的有价值信息。 5. 文本挖掘：针对非结构化的文本数据进行情感分析、主题建模等操作。 6. 图像分析：在图像数据中识别特征，如人脸识别、车牌识别等。 7. 社交媒体分析：分析社交媒体上的用户行为，了解公众意见和情绪。 大数据的应用广泛，不仅推动了信息技术领域的创新，也深深地影响了各个行业。在零售业，大数据分析帮助商家理解消费者行为，制定更精准的营销策略；在医疗保健中，大数据可以提高疾病诊断的准确性，优化药物研发；在公共服务领域，大数据用于提升城市管理效率，促进经济发展，维护社会稳定。 大数据分析还带来了科学研究的革新。例如，通过分析互联网上的海量行为数据，研究人员可以实时追踪研究对象，发现规律，提出新的见解和解决方案。大数据分析的兴起，使得决策过程从传统的经验驱动转变为数据驱动，提升了各行各业的竞争力。 大数据不仅是数据量的增加，更是数据处理能力和信息价值的飞跃。随着技术的进步，大数据分析将越来越深入到我们的日常生活和工作中，持续推动社会的进步和发展。