我对⼤数据的认识 对本次实训中我对⼤数据介绍 ⼀.⾃我介绍 你好,我是来⾃兰州⽂理学院数字媒体学院数据科学与⼤数据技术班的⼀名⼤学⽣,你可以叫我⼩⿊。 ⼆. 对⼤数据的认识 1. 经过这段时间的学习我对⼤数据有了更好的了解,⼤数据时代到来最初是麦肯锡:"数据已经渗透到当今每⼀个⾏业和业务职能领 域,成为重要的产⽣因素。⼈们对海量数据的挖掘和运⽤,预⽰着新⼀波⽣产率增长和消费者盈余浪潮的到来。" 2. 通过我的学习了解到⼤数据的特征可以总结为4个V (数据规模⼤,价值密度低,种类多,处理速度快)第⼀,数据体量巨⼤。⼤数据 的起始计量单位⾄少是P;第⼆,数据类型繁多。⽐如,⽹络⽇志、视频、图⽚、地理位置信息等等。第三,价值密度低,商业价值 ⾼。第四,处理速度快。最后这⼀点也是和传统的数据挖掘技术有着本质的不同。 3. ⼤数据来源⾮常⼴泛它主要来源于互联⽹⼤数据,传统⾏业⼤数据,⾳频,视频和数据,移动设备产⽣的数据。 4. ⼤数据采集的数据类型,主要有以下三类:(1)互联⽹数据(2)系统⽇志数据(3)数据库数据 5. ⼤数据的整个流程有数据的采集,数据的预处理,数据的储存,数据的分析,数据的可视化 6. 云计算与⼤数据之间是相辅相成,相得益彰的关系。⼤数据挖掘处理需要云计算作为平台,⽽⼤数据涵盖的价值和规律则能够使云计 算更好的与⾏业应⽤结合并发挥更⼤的作⽤。云计算将计算资源作为服务⽀撑⼤数据的挖掘,⽽⼤数据的发展趋势是对实时交互的海 量数据查询、分析提供了各⾃需要的价值信息。 7. ⼤数据的表现形 态⼤数据在当今社会⾮常时笔,但真正要⾯对的是企业如何授作,如何落地。传统数据的获得通过问卷调查收集数 据,或者是已存储的历史经营数据,⽐如财务数据、销售数据等,⼀ 台服务器基本就能完成其存储容量。传统数据的表现形态为对数 据的统计分析,以表或图的形式呈现给⼤家。⽽⼤数据的信息量是海量的,这个海量并不是某个时间端点的量级总结,⽽是持续更 新,持续增量。由于⼤数据产⽣的过程中诸多的不确定性,使得⼤数据的表现形态多种多样。 三:创意场景 ⽐如你早上有重要会议,结果却被堵在路上不知道什么时候才能到公司,这时你可能除了⼲若急也没什么能做的。你不能,⼤数据分析可 以。借助⼤数据分析,你可以找出拥堵不严重的路甚⾄通过实时疏导来解决整个城市的拥堵问题。在这⽅⾯做得⽐较突出的是⾕歌地图。⾕ 歌通过收集安卓⽤户的位置和运动等信息来预测交通状况并给予⽤户建议。不过现在这项服务效果还不是特别好因为⾕歌再怎么收集信息也 很难知道⽤户此时使⽤的是什么交通⼯具,⽽开车和骑电动车对于交通的影响是很不⼀样的。 四:实习感想 通过本次实习让我更好的了解了⼤数据这门专业,在这次实习中我学会了如何去了解数据的获取与对⼤数据的处理。本次实训中学到了⼤数 据的发展趋势与⾏业要求,⼤数据⼯作的环境,Linux操作系统的初步使⽤与体验,数据可视化的介绍,通过这次实习让我在以后的⼯作和 学习中有了更好的⽅向。 【大数据认知】 大数据,作为21世纪信息技术领域的关键概念,已经在各行各业中产生了深远影响。它不仅改变了我们看待和处理信息的方式,还预示着生产力和消费者福利的新一轮增长。大数据的特点,通常概括为四个“V”:大规模(Volume)、多样性(Variety)、低价值密度(Value Density Low)和高速度(Velocity)。这些特征共同定义了大数据的核心。 1. 大规模:大数据涉及的数据量是前所未有的,通常以PB(拍字节)甚至EB(艾字节)为计量单位,远远超过传统数据处理的范畴。 2. 多样性:数据来源广泛,包括网络日志、视频、图像、地理位置等多种类型,这要求处理技术具备处理结构化和非结构化数据的能力。 3. 低价值密度:大数据中蕴含的有价值信息相对较少,需要通过高级分析技术从大量数据中提炼。 4. 高速度:大数据处理强调实时性,要求快速响应并分析数据流,以支持决策和预测。 大数据的来源多样化,涵盖了互联网、传统行业、音频视频数据以及移动设备产生的数据。数据采集主要分为三类:互联网数据(如社交媒体数据)、系统日志数据(如服务器日志)和数据库数据(如关系型数据库中的信息)。 大数据的生命周期包括数据采集、预处理、存储、分析和可视化。这一过程需要强大的计算能力,云计算为此提供了理想的平台。云计算通过提供按需计算服务,支撑大数据的挖掘和分析,而大数据的洞察力则能推动云计算更好地与行业应用相结合,实现更大价值。 大数据的表现形态与传统数据大相径庭。传统数据多为静态的、结构化的统计分析结果,而大数据则是动态的、不断增长的信息流,具有更高的复杂性和不确定性,因此其展现形式更为丰富多变。 在实际应用中,大数据可以解决许多现实问题。例如,谷歌地图利用大数据分析,通过收集用户位置和移动信息预测交通状况,帮助用户规划路线,甚至优化城市交通流量。尽管目前这类服务还有待提升,但其潜力巨大。 通过实习,作者对大数据的理解更加深入,了解了大数据的发展趋势、行业需求,熟悉了Linux操作系统的基本操作,并掌握了数据可视化的基本知识。这次实习经历为作者未来的学习和工作指明了方向,充分体现了大数据实践的重要性。
- 粉丝: 193
- 资源: 3万+
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助