大数据导论学习记录笔记

大数据导论学习记录笔记 大数据导论学习记录笔记中涵盖了大数据的基本概念、技术属性、云计算、物联网、人工智能等相关知识点。 大数据的基本概念 * 数据类型：文本、图片、音频、视频 * 数据结构化程度：结构化数据、半结构化数据、非结构化数据 * 数据生命周期管理：分类、存储、管理 * 大数据的5个特点：volume（规模大）、variety（类型多）、velocity（速度快）、value（有价值）、veracity（真实性） 大数据技术属性 * 云计算：一种无处不在的、便捷的且按需的对一个共享的可配置的计算资源进行网络访问的模式 * 云计算的特点：超大规模计算、虚拟化、高可靠性和安全性、通用性、动态扩展性、按需服务、降低成本 * 云计算服务模型：SaaS、PaaS、IaaS * 云计算部署模型：公有云、私有云、混合云、社区云 大数据与云计算、物联网、人工智能 * 云计算与分布式计算、网格计算、对等计算、并行计算、雾计算的关系 * 分布式计算的特点：把计算任务分派给网络中的多台独立的机器并行计算 * 云计算强调专有，请求或获取的资源是专有的，并且由少数团体提供，使用者不需要贡献自己的资源 * 网格计算强调资源共享，任何节点都可以请求使用其它节点的资源，任何节点都需要贡献一定资源给其他节点 * 对等计算（P2P）：一种高效的计算模式，每个节点都拥有对等的功能与责任 * 并行计算：相对于串行计算来说的，是指同时使用多种计算资源解决计算问题的过程 * 雾计算：两层含义，（1）雾计算和云计算有很多相似，（2）“接近地面”，网络拓扑中的位置 * 边缘计算（Edge Computing）：接近于事物，数据和行动源头处的计算 * 物联网（IoT）：两层意思，一是互联网基础上的延伸和扩展的网络，二是用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通讯 * 物联网关键技术：识别和感知技术、网络与通信技术、数据挖掘与融合技术 大数据与人工智能 * 人工智能（Artificial Intelligence）：研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学 * 人工智能需要具备的能力：自然语言处理、知识表示、自动推理、机器学习