大数据要学习啥
大数据技术体系太庞杂,基础技术覆盖数据采集、数据预处理、
分布式存储、NOSQL 数据库、多模式计算(批处理、在线处理、实时
流处理、内存处理)、多模态计算(图像、文本、视频、音频)、数
据仓库、数据挖掘、机器学习、人工智能、深度学习、并行计算、可
视化等各种技术范畴和不同的层面。
另外大数据应用领域广泛,各领域采用技术的差异性还是比较
大的。短时间很难掌握多个领域的大数据理论和技术,建议从应用切
入、以点带面,先从一个实际的应用领域需求,搞定一个一个技术点,
有一定功底之后,再举一反三横向扩展,这样学习效果就会好很多。
从前几年到现在所谓的大数据时代,移动互联网、物联网、云
计算、人工智能、机器人、大数据等前沿信息技术领域,逐个火了一
遍,什么是大数据,大数据的技术范畴包括那些,估计很多人都是根
据自己所熟悉的领域在盲人摸象。
下文从 DT(Data technology,数据技术)技术泛型角度来系统
地介绍什么是大数据,包括那些核心技术,各领域之间的关系等等:
首先我们说机器学习,机器学习(machine learning),是计算机科学
和统计学的交叉学科,核心目标是通过函数映射、数据训练、最优化
求解、模型评估等一系列算法实现,让计算机拥有对数据进行自动分
类和预测的功能;机器学习领域包括很多智能处理算法,分类、聚类、
回归、相关分析等每类下面都有很多算法进行支撑,如 SVM,神经网
络,Logistic 回归,决策树、EM、HMM、贝叶斯网络、随机森林、LDA