我对大数据的认识.pdf

我对⼤数据的认识 对本次实训中我对⼤数据介绍 ⼀.⾃我介绍 你好，我是来⾃兰州⽂理学院数字媒体学院数据科学与⼤数据技术班的⼀名⼤学⽣，你可以叫我⼩⿊。 ⼆. 对⼤数据的认识 1. 经过这段时间的学习我对⼤数据有了更好的了解，⼤数据时代到来最初是麦肯锡："数据已经渗透到当今每⼀个⾏业和业务职能领 域，成为重要的产⽣因素。⼈们对海量数据的挖掘和运⽤，预⽰着新⼀波⽣产率增长和消费者盈余浪潮的到来。" 2. 通过我的学习了解到⼤数据的特征可以总结为4个V （数据规模⼤，价值密度低，种类多，处理速度快）第⼀，数据体量巨⼤。⼤数据 的起始计量单位⾄少是P;第⼆，数据类型繁多。⽐如，⽹络⽇志、视频、图⽚、地理位置信息等等。第三，价值密度低，商业价值 ⾼。第四，处理速度快。最后这⼀点也是和传统的数据挖掘技术有着本质的不同。 3. ⼤数据来源⾮常⼴泛它主要来源于互联⽹⼤数据，传统⾏业⼤数据，⾳频，视频和数据，移动设备产⽣的数据。 4. ⼤数据采集的数据类型，主要有以下三类：（1）互联⽹数据（2）系统⽇志数据（3）数据库数据 5. ⼤数据的整个流程有数据的采集，数据的预处理，数据的储存，数据的分析，数据的可视化 6. 云计算与⼤数据之间是相辅相成，相得益彰的关系。⼤数据挖掘处理需要云计算作为平台，⽽⼤数据涵盖的价值和规律则能够使云计 算更好的与⾏业应⽤结合并发挥更⼤的作⽤。云计算将计算资源作为服务⽀撑⼤数据的挖掘，⽽⼤数据的发展趋势是对实时交互的海 量数据查询、分析提供了各⾃需要的价值信息。 7. ⼤数据的表现形 态⼤数据在当今社会⾮常时笔，但真正要⾯对的是企业如何授作，如何落地。传统数据的获得通过问卷调查收集数 据，或者是已存储的历史经营数据，⽐如财务数据、销售数据等，⼀ 台服务器基本就能完成其存储容量。传统数据的表现形态为对数 据的统计分析，以表或图的形式呈现给⼤家。⽽⼤数据的信息量是海量的，这个海量并不是某个时间端点的量级总结，⽽是持续更 新，持续增量。由于⼤数据产⽣的过程中诸多的不确定性，使得⼤数据的表现形态多种多样。 三：创意场景 ⽐如你早上有重要会议，结果却被堵在路上不知道什么时候才能到公司，这时你可能除了⼲若急也没什么能做的。你不能，⼤数据分析可 以。借助⼤数据分析，你可以找出拥堵不严重的路甚⾄通过实时疏导来解决整个城市的拥堵问题。在这⽅⾯做得⽐较突出的是⾕歌地图。⾕ 歌通过收集安卓⽤户的位置和运动等信息来预测交通状况并给予⽤户建议。不过现在这项服务效果还不是特别好因为⾕歌再怎么收集信息也 很难知道⽤户此时使⽤的是什么交通⼯具，⽽开车和骑电动车对于交通的影响是很不⼀样的。 四：实习感想 通过本次实习让我更好的了解了⼤数据这门专业，在这次实习中我学会了如何去了解数据的获取与对⼤数据的处理。本次实训中学到了⼤数 据的发展趋势与⾏业要求，⼤数据⼯作的环境，Linux操作系统的初步使⽤与体验，数据可视化的介绍，通过这次实习让我在以后的⼯作和 学习中有了更好的⽅向。