大数据分析结课论文.pdf资源-CSDN文库

版权申诉

5星 · 超过95%的资源 100 浏览量 2023-08-09 22:23:18 上传评论收藏 1.6MB PDF 举报

资源推荐

资源详情

资源评论

For personal use only in study and research;

not for commercial use

大数据论文

摘要

数据发展到今天，已不再是一个新的概念，基于大数据技术的

应用也层出不穷，但作为一项发展前景广阔的技术，其很多作用还有待挖掘，比

如为人们的生活带来方便，为企业带来更多利益等。现今，互联网上每日产生的

数据已由曾经的 TB 级发展到了今天的 PB 级、EB 级甚至 ZB 级。如此爆炸性的数

据怎样去使用它，又怎样使它拥有不可估量的价值呢？这就需要不断去研究开发，

让每天的数据“砂砾”变为“黄金”。那么如何才能将大量的数据存储起来，并

加以分析利用呢，大数据技术应运而生。大数据是指无法在可承受的时间范围内

用常规软件工具进行捕捉、管理和处理的数据集合。大数据的战略意义不在于掌

握庞大的数据信息，而在于对这些含有意义的数据进行专业化的处理。本文就大

数据技术进行了深入探讨，从大数据的定义、特征以及目前的应用情况引入，简

述了大数据分析的统计方法、挖掘方法、神经网络方法和基于深度学习框架的方

法，并对大数据分析流程和框架、大数据存储模式和服务机制、大数据分析中的

多源数据融合技术、高维数据的降维技术、子空间分析、集成分析的处理方法等

做了概述。最后，以网络信息安全为例，阐述了该领域的大数据分析过程和方法。

关键词

大数据；数据挖掘；深度学习；大数据分析；网络信息安全

一、大数据概述

1.1 大数据的定义和特征

目前，虽然大数据的重要性得到了大家的一致认同，但是关于大数据的定义却众说

纷纭。大数据是一个抽象的概念，除去数据量庞大，大数据还有一些其他的特征，这些

特征决定了大数据与“海量数据”和“非常大的数据”这些概念之间的不同。一般意义

上，大数据是指无法在有限时间内用传统 IT 技术和软硬件工具对其进行感知、获取、

管理、处理和服务的数据集合。科技企业、研究学者、数据分析师和技术顾问们，由于

各自的关注点不同，对于大数据有着不同的定义。通过以下定义，或许可以帮助我们更

好地理解大数据在社会、经济和技术等方而的深刻内涵。 2010 年 Apache Hadoop 组

织将大数据定义为，“普通的计算机软件无法在可接受的时间范围内捕捉、管理、处理

的规模庞大的数据集”。在此定义的基础上，2011 年 5 月，全球著名咨询机构麦肯锡

公司发布了名为“大数据：下一个创新、竞争和生产力的前沿”的报

告，在报告中对大数据的定义进行了扩充。大数据是指其大小超出了典型数据库软

件的采集、存储、管理和分析等能力的数据集。该定义有两方而内涵：（1）符合大数

据标准的数据集大小是变化的，会随着时间推移、技术进步而增长；（2）不同部门符

合大数据标准的数据集大小会存在差别。目前，大数据的一般范围是从几个 TB 到数个

PB（数千 TB）[2]。根据麦肯锡的定义可以看出，数据集的大小并不是大数据的唯一标

准，数据规模不断增长，以及无法依靠传统的数据库技术进行管理，也是大数据的两个

重要特征。大数据价值链可分为 4 个阶段:数据生成、数据采集、数据储存以及数据

分析。数据分析是大数据价值链的最后也是最重要的阶段，是大数据价值的实现，是大

数据应用的基础，其目的在于提取有用的值，提供论断建议或支持决策，通过对不同领

域数据集的分析可能会产生不同级别的潜在价值。

在日新月异的 IT 业界，各个企业对大数据都有着自己不同的解读.大数据的主要特

征 5 个，即个，即 ”特征：Volume(容量大)、Variety(种类多)、Velocity(速度快)、难辨识

(veracity)和最重要的 Value(价值密度低)。

Volume(容量大)是指大数据巨大的数据量与数据完整性。可指大数据集合中包含的

数据多，也可指组成大数据的网络包含的子数据个数多。

Variety(种类多)意味着要在海量、种类繁多的数据间发现其内在关联。大数据中包

含的各种数据类型很多，既可包含各种结构化数据类型，又可包含各种非结构化数据类

型，乃至其他数据类型。

Velocity(速度快)可以理解为更快地满足实时性需求。大数据的结构和内容等都可动

态变化，而且变化频率高、速度快、范围广，数据形态具有极大的动态性，处理需要极

快的实时性。

Veracity (难辨识)

可以体现在数据的内容、结构、处理、以及所含子数据间的关

联等多方面。大数据中可以包含众多具有不同概率分布的随机数和众多具有不同定义域

的模糊数。数间关联模糊不清、并且可能随时随机变化。

Value(价值密度低)是指大数据的价值密度低，大数据中，往往有用数据和大量无用

数据混在一起，因此大数据处理的一项必要工作就是“不断地清垃圾、除噪声”。大数

据时代数据的价值就像沙里淘金，数据量越大里面真正有价值的东西就越少。

大数据除了以上介绍的四个主要特征外，还具有纬度高，多源性，不确定性、社会

性等特征。

1.2 大数据应用情况

大数据的类型大致可分为三类：（1）传统企业数据（Traditional enterprise data）：包括 CRM

systems 的消费者数据，传统的 ERP 数据，库存数据以及账目数据等。（2）机器和传感器

数据（Machine-generated /sensor data）：包括呼叫记录（Call Detail Records），智能仪

表，工业设备传感器，设备日志（通常是 Digital exhaust），交易数据等。（3）社交数据

（Social data）：包括用户行为记录，反馈数据等。如 Twitter，Facebook 这样的社交媒体

平台。大数据挖掘商业价值的方法主要分为四种：（1）客户群体细分，然后为每个群体

量定制特别的服务。（2）模拟现实环境，发掘新的需求同时提高投资的回报率。（3）加

强部门联系，提高整条管理链条和产业链条的效率。（4）降低服务成本，发现隐藏线索进

行产品和服务的创新。从三大产业的角度将大数据的核心商业价值分类讨论。大数据

应用，是利用大数据分析的结果，为用户提供辅助决策，发掘潜在价值的过程。从理论上来

看：所有产业都会从大数据的发展中受益。但由于数据缺乏以及从业人员本身的原因，第一、

第二产业的发展速度相对于第三产业来说会迟缓一些。

具体实例

洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。

google 流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。

统计学家内特.西尔弗(Nate Silver)利用大数据预测 2012 美国选举结果。

麻省理工学院利用手机定位数据和交通数据建立城市规划。

梅西百货的实时定价机制。根据需求和库存的情况，该公司基于 SAS 的系统对多达 7300

万种货品进行实时调价。

剩余14页未读，继续阅读

评论收藏

内容反馈

版权申诉

zhangxianhui01

2023-12-26

感谢资源主的分享，很值得参考学习，资源价值较高，支持！

hhappy0123456789

粉丝: 64
资源: 5万+

大数据分析结课论文.pdf

Python语言在大数据分析中的应用.pdf

数据分析精品范文论文.pdf

基于django技术的电影数据分析展示毕业论文.pdf

大数据分析结课论文.doc

大数据分析与安全课程实验报告及结课论文

计算机网络结课论文.pdf

机器视觉结课论文.pdf

基于Matlab挖掘分析NIPS会议论文.pdf

Python编程语言在数据分析中的运用.pdf

基于AWS无服务器架构的房地产行业大数据分析与应用方案.pdf

统计学专业导论结课论文.pdf

计算机辅助设计结课论文.pdf

计算机组装与维护技术结课论文.pdf

交通与环境结课论文.pdf

工业机器人结课论文.pdf

基于MATLAB的桥梁健康监测数据处理与可靠度分析_毕业论文.pdf

MATLAB在工程数据分析中的应用.pdf

用VB，Matlab，SQI+Server实现大气污染监测数据的判别分析_毕业论文.pdf

基于MATLAB的振动测试数据分析平台的设计.pdf

工程建设项目管理结课论文.pdf

结课论文_C语言五子棋.pdf

计算机辅助设计结课小论文论文.pdf

基于云计算的大数据处理与分析综述.pdf

使用Python实现数据分析.pdf

最新资源