大数据分析的流程浅析之一：大数据采集过程分析.docx
需积分: 9 199 浏览量
2022-07-15
09:05:05
上传
评论
收藏 12KB DOCX 举报
大数据分析的流程浅析之一：大数据采集过程分析
数据采集，就是使用某种技术或手段，将数据收集起来并存储在
某种设备上，这种设备可以是磁盘或磁带。区别于普通的数据分析，
大数据分析的数据采集在数据收集和存储技术上都是不同的.具体情
况如下：
1.大数据收集过程
在收集阶段，大数据分析在时空两个方面都有显著的不同。在时
间维度上，为了获取更多的数据，大数据收集的时间频度大一些，有
时也叫数据采集的深度。在空间维度上，为了获取更准确的数据，数
据采集点设置得会更密一些。
以收集一个面积为 100 平方米的葡萄园的平均温度为例。小数据
时代，由于成本的原因，葡萄园主只能在葡萄园的中央设置一个温度
计用来计算温度，而且每一小时观测一次，这样一天就只有 24 个数
据。而在大数据时代，在空间维度上，可以设置 100 个温度计，即每
个 1 平方米一个温度计; 在时间维度上，每隔 1 分钟就观测一次,这样
一天就有 144000 个数据,是原来的 6000 倍。
有了大量的数据,我们就可以更准确地知道葡萄园的平均温度，
如果加上时间刻度的话，还可以得出一个时间序列的曲线，结果看起
来使人很神往。
2。大数据的存储技术
通过增加数据采集的深度和广度,数据量越来越大，数据存储问
题就凸现.原来 1TB 的数据，可以使用一块硬盘就可以实现数据的存
评论0