大学生大数据技术原理与应用章节测验期末考试答案.docx

大学生大数据技术原理与应用章节测验期末考试答案 大数据技术原理与应用是当前一个非常重要的技术领域，涉及到数据存储、数据分析、数据挖掘等多个方面。以下是大数据技术原理与应用章节测验期末考试答案中的一些重要知识点： 1. 第三次信息化浪潮的标志是云计算、大数据、物联网技术的普及。这三者之间存在着紧密的关系，云计算侧重于数据分析，物联网可借助于云计算实现海量数据的存储和分析。 2. 在大数据时代，数据的量级非常大，1PB数据是多少TB？答案是1024TB。这个问题考察了学生对大数据量级的理解。 3. 云计算、大数据和物联网之间的关系是紧密相连的，三者之间存在着相互依存和相互补充的关系。云计算侧重于数据分析，物联网可借助于云计算实现海量数据的存储和分析。 4. 大数据技术原理与应用中有很多新兴的技术，如Spark、Hadoop、HBase等，这些技术都是大数据时代的产物。 5. 在大数据产品中，每种产品都有特定的应用场景，例如批处理、实时处理等。HBase表中的行可以通过某列的值区间、全表扫描、通过一个行健的区间或者通过单个行健来访问。 6. NoSQL数据库和关系型数据库有很多不同之处，例如NoSQL数据库很容易实现数据完整性，关系型数据库缺乏统一的查询语言，NoSQL数据库的可扩展性比传统的关系型数据库更好等。 7. 在NoSQL数据库中，键值数据库的键是一个字符串对象，值可以是任意类型的数据，文档数据库的数据是松散的，XML和JSON文档等都可作为数据存储在文档数据库中，图数据库灵活性高，支持复杂的图算法等。 8. NoSQL数据库的三大理论基石是CAP理论、 BASE理论和ACID理论，CAP理论指的是一致性、可用性、分区容忍性，BASE理论指的是软状态、最终一致性、基本可用性和高性能。 9. NoSQL数据库的类型包括键值数据库、列族数据库、文档数据库和图数据库等，每种类型都有其特点和应用场景。 10. 云数据库是指基于云计算平台的数据库，包括关系数据库和NoSQL数据库，例如Amazon的云数据库Amazon RDS、Amazon DynamoDB等。 11. UMP系统是一个基于云计算的MySQL云数据库方案，包括Control器服务器、Agent服务器和Mnesia等组件，UMP系统具有低成本和高性能的特点。 12. 在UMP系统中，Zookeeper主要发挥的作用包括监控所有MySQL实例、负责集群负载均衡、提供分布式锁等。 13. UMP系统设计了多种机制来保证数据安全，例如记录用户操作日志、数据访问IP白名单、SSL数据库连接和SQL拦截等。 14. MapReduce是Hadoop框架中的一个组件，用于并行处理大规模数据的计算，MapReduce程序可以将输入的元素转换成〈key, value〉形式的键值对，MapReduce框架采用了Master/Slave架构，包括一个Master和若干个Slave。 15. 在使用MapReduce程序WordCount进行词频统计时，对于文本行"hello world"，需要对其进行切割和统计。