没有合适的资源?快使用搜索试试~ 我知道了~
浅谈大数据发展现状及未来展望.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 48 浏览量
2022-06-12
04:54:35
上传
评论
收藏 915KB PDF 举报
温馨提示
试读
17页
。。。
资源推荐
资源详情
资源评论
浅谈大数据发展现状及未来展望
中国特色社会主义进入新时代,实现中华民族伟大复兴的中国梦开启新征
程。党中央决定实施国家大数据战略,吹响了加快发展数字经济、建设数
字中国的号角。国家领导人在十九届中共中央政治局第二次集体学习时的
重要讲话中指出:“大数据是信息化发展的新阶段”,并做出了“推动大
数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据
提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国
家数据安全”的战略部署,为我国构筑大数据时代国家综合竞争新优势指
明了方向!
今天,我拟回顾大数据的发端、发展和现状,研判大数据的未来趋势,简
述我国大数据发展的态势,并汇报我对信息化新阶段和数字经济的认识,
以及对我国发展大数据的若干思考和建议。
一、大数据的发端与发展
从文明之初的“结绳记事”,到文字发明后的“文以载道”,再到近现代
科学的“数据建模”,数据一直伴随着人类社会的发展变迁,承载了人类
基于数据和信息认识世界的努力和取得的巨大进步。然而,直到以电子计
算机为代表的现代信息技术出现后,为数据处理提供了自动的方法和手段,
人类掌握数据、处理数据的能力才实现了质的跃升。信息技术及其在经济
社会发展方方面面的应用(即信息化),推动数据(信息)成为继物质、
能源之后的又一种重要战略资源。
“大数据”作为一种概念和思潮由计算领域发端,之后逐渐延伸到科学和
商业领域。大多数学者认为, “大数据”这一概念最早公开出现于 1998 年,
美国高性能计算公司 SGI 的首席科学家约翰·马西( John Mashey )在一个
国际会议报告中指出:随着数据量的快速增长,必将出现数据难理解、难
获取、难处理和难组织等四个难题,并用“ Big Data (大数据)”来描述
这一挑战,在计算领域引发思考。 2007 年,数据库领域的先驱人物吉姆· 格
雷( Jim Gray )指出大数据将成为人类触摸、理解和逼近现实复杂系统的
有效途径,并认为在实验观测、理论推导和计算仿真等三种科学研究范式
后,将迎来第四范式——“数据探索”,后来同行学者将其总结为“数据
密集型科学发现”,开启了从科研视角审视大数据的热潮。 2012 年,牛津
大学教授维克托·迈尔 -舍恩伯格( Viktor Mayer-Schnberger )在其畅销
著作《大数据时代( Big Data :A Revolution That Will Transform How We
Live ,Work ,and Think )》中指出,数据分析将从“随机采样”、“精确
求解”和“强调因果”的传统模式演变为大数据时代的“全体数据”、“近
似求解”和“只看关联不问因果”的新模式,从而引发商业应用领域对大
数据方法的广泛思考与探讨。
大数据于 2012 、2013 年达到其宣传高潮, 2014 年后概念体系逐渐成形,对
其认知亦趋于理性。大数据相关技术、产品、应用和标准不断发展,逐渐
形成了包括数据资源与 API、开源平台与工具、数据基础设施、数据分析、
数据应用等板块构成的大数据生态系统,并持续发展和不断完善,其发展
热点呈现了从技术向应用、再向治理的逐渐迁移。经过多年来的发展和沉
淀,人们对大数据已经形成基本共识:大数据现象源于互联网及其延伸所
带来的无处不在的信息技术应用以及信息技术的不断低成本化。大数据泛
指无法在可容忍的时间内用传统信息技术和软硬件工具对其进行获取、管
理和处理的巨量数据集合,具有海量性、多样性、时效性及可变性等特征,
需要可伸缩的计算体系结构以支持其存储、处理和分析。
大数据的价值本质上体现为:提供了一种人类认识复杂系统的新思维和新
手段。就理论上而言,在足够小的时间和空间尺度上,对现实世界数字化,
可以构造一个现实世界的数字虚拟映像,这个映像承载了现实世界的运行
规律。在拥有充足的计算能力和高效的数据分析方法的前提下,对这个数
字虚拟映像的深度分析,将有可能理解和发现现实复杂系统的运行行为、
状态和规律。应该说大数据为人类提供了全新的思维方式和探知客观规律、
改造自然和社会的新手段,这也是大数据引发经济社会变革最根本性的原
因。
二、大数据的现状与趋势
全球范围内,研究发展大数据技术、运用大数据推动经济发展、完善社会
治理、提升政府服务和监管能力正成为趋势。下面将从应用、治理和技术
三个方面对当前大数据的现状与趋势进行梳理。
一是已有众多成功的大数据应用,但就其效果和深度而言,当前大数据应
用尚处于初级阶段,根据大数据分析预测未来、指导实践的深层次应用将
成为发展重点。
按照数据开发应用深入程度的不同,可将众多的大数据应用分为三个层次。
第一层,描述性分析应用,是指从大数据中总结、抽取相关的信息和知识,
帮助人们分析发生了什么,并呈现事物的发展历程。如美国的 DOMO 公司从
其企业客户的各个信息系统中抽取、整合数据,再以统计图表等可视化形
式,将数据蕴含的信息推送给不同岗位的业务人员和管理者,帮助其更好
地了解企业现状,进而做出判断和决策。第二层,预测性分析应用,是指
从大数据中分析事物之间的关联关系、发展模式等,并据此对事物发展的
趋势进行预测。如微软公司纽约研究院研究员 David Rothschild 通过收集
和分析赌博市场、好莱坞证券交易所、社交媒体用户发布的帖子等大量公
开数据,建立预测模型,对多届奥斯卡奖项的归属进行预测。 2014 和 2015
年,均准确预测了奥斯卡共 24 个奖项中的 21 个,准确率达 87.5% 。第三层,
指导性分析应用,是指在前两个层次的基础上,分析不同决策将导致的后
果,并对决策进行指导和优化。如无人驾驶汽车分析高精度地图数据和海
量的激光雷达、摄像头等传感器的实时感知数据,对车辆不同驾驶行为的
后果进行预判,并据此指导车辆的自动驾驶。
当前,在大数据应用的实践中,描述性、预测性分析应用多,决策指导性
等更深层次分析应用偏少。一般而言,人们做出决策的流程通常包括:认
知现状、预测未来和选择策略这三个基本步骤。这些步骤也对应了上述大
数据分析应用的三个不同类型。不同类型的应用意味着人类和计算机在决
策流程中不同的分工和协作。例如:第一层次的描述性分析中,计算机仅
负责将与现状相关的信息和知识展现给人类专家,而对未来态势的判断及
对最优策略的选择仍然由人类专家完成。应用层次越深,计算机承担的任
务越多、越复杂,效率提升也越大,价值也越大。然而,随着研究应用的
不断深入,人们逐渐意识到前期在大数据分析应用中大放异彩的深度神经
网络尚存在基础理论不完善、模型不具可解释性、鲁棒性较差等问题。因
此,虽然应用层次最深的决策指导性应用,当前已在人机博弈等非关键性
领域取得较好应用效果,但是,在自动驾驶、政府决策、军事指挥、医疗
健康等应用价值更高,且与人类生命、财产、发展和安全紧密关联的领域,
要真正获得有效应用,仍面临一系列待解决的重大基础理论和核心技术挑
战。在此之前,人们还不敢、也不能放手将更多的任务交由计算机大数据
分析系统来完成。这也意味着,虽然已有很多成功的大数据应用案例,但
还远未达到我们的预期,大数据应用仍处于初级阶段。未来,随着应用领
域的拓展、技术的提升、数据共享开放机制的完善,以及产业生态的成熟,
具有更大潜在价值的预测性和指导性应用将是发展的重点。
二是大数据治理体系远未形成,特别是隐私保护、数据安全与数据共享利
用效率之间尚存在明显矛盾,成为制约大数据发展的重要短板,各界已经
意识到构建大数据治理体系的重要意义,相关的研究与实践将持续加强。
随着大数据作为战略资源的地位日益凸显,人们越来越强烈地意识到制约
大数据发展最大的短板之一就是:数据治理体系远未形成,如数据资产地
位的确立尚未达成共识,数据的确权、流通和管控面临多重挑战;数据壁
垒广泛存在,阻碍了数据的共享和开放;法律法规发展滞后,导致大数据
应用存在安全与隐私风险;等等。如此种种因素,制约了数据资源中所蕴
含价值的挖掘与转化。
其中,隐私、安全与共享利用之间的矛盾问题尤为凸显。一方面,数据共
享开放的需求十分迫切。近年来人工智能应用取得的重要进展,主要源于
对海量、高质量数据资源的分析和挖掘。而对于单一组织机构而言,往往
靠自身的积累难以聚集足够的高质量数据。另外,大数据应用的威力,在
很多情况下源于对多源数据的综合融合和深度分析,从而获得从不同角度
观察、认知事物的全方位视图。而单个系统、组织的数据往往仅包含事物
某个片面、局部的信息,因此,只有通过共享开放和数据跨域流通才能建
立信息完整的数据集。
剩余16页未读,继续阅读
资源评论
apple_51426592
- 粉丝: 9621
- 资源: 9658
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功