大数据面试知识点

代理模式是一种设计模式，主要用于控制对象访问，对被访问对象提供一种代理对象。代理模式分为静态代理和动态代理两种实现方式。 静态代理：在编译时就已经确定了代理类及其关系，代理类和被代理类都需要实现同一个接口。静态代理的优点是实现简单，缺点是不够灵活，如果需要代理的类数量较多，则需要创建同样多的代理类。 动态代理：在运行时动态生成代理类的实例。动态代理分为两种实现方式：Java动态代理和CGLIB动态代理。 Java动态代理：要求被代理类必须实现一个接口，在运行时创建一个接口的实现类，通过代理这个接口来实现代理。 CGLIB动态代理：基于类的继承机制，允许在运行时对任何类生成子类。它要求被代理类不能是final类，否则无法继承。 JVM（Java虚拟机）是运行Java程序的核心环境，JVM的性能直接影响到Java应用程序的性能。JVM主要包括垃圾回收机制、内存管理机制等。 垃圾回收机制主要通过垃圾回收算法来实现，常见的垃圾回收算法包括标记-清除、复制、标记-整理等。垃圾回收面临的主要问题是内存碎片和停顿问题，为了解决这些问题，JVM引入了分代垃圾回收机制。 分代垃圾回收机制是根据对象的存活时间将堆内存分为几个代，不同的代采用不同的垃圾回收算法。例如，新生代主要回收存活时间较短的对象，采用复制算法；老年代主要回收存活时间较长的对象，采用标记-清除或标记-整理算法。 JVM调优主要是通过调整JVM参数来优化垃圾回收机制，提高程序的运行效率。 新一代垃圾回收算法包括增量收集算法和GarbageFirest（G1）算法。增量收集算法通过分小步的方式来收集垃圾，减小每次GC的停顿时间。G1算法将堆内存分为多个区域，每个区域都可以独立进行垃圾回收，进一步减小了单次GC的停顿时间。 Java中volatile关键字的主要作用是保证变量的可见性和防止指令重排序。使用volatile修饰的变量，当一个线程修改了这个变量的值，新值对于其他线程来说是立即可见的，同时volatile还能禁止指令重排序优化。 线程是操作系统能够进行运算调度的最小单位，Java中的线程是通过java.lang.Thread类来实现的。线程的数量计算通常需要根据任务的数量和系统的CPU核心数来确定。线程的同步通过锁来实现，synchronized和ReentrantLock是两种常用的锁机制。 CAS（CompareAndSet）即比较并交换，是一种用于实现无锁同步的算法。CAS算法通过原子性操作来保证对共享资源的安全访问。 线程池是用于管理线程生命周期的池化技术，主要优点是减少在创建和销毁线程上所花的时间和资源消耗。 分布式缓存是一种将缓存数据分散存储在多个服务器上的技术，主要包括MEMCACHED分布式和REDIS分布式等。 一致性哈希是一种特殊的哈希算法，用于解决分布式系统中数据的均匀分布问题。 分布式锁是为了防止分布式系统中的多个进程同时操作共享资源而产生冲突，常用的分布式锁实现包括基于数据库资源表做乐观锁、基于MEMCACHED的ADD()方法、基于REDIS的SETNX()和EXPIRE()方法、基于ZOOKEEPER等。 YARN（Yet Another Resource Negotiator）是Hadoop2中的资源管理平台，负责资源管理和任务调度。YARN的设计目标是将资源管理和作业调度/监控分离开来，它包括YARN任务提交、YARN设计、YARN任务提交过程等知识点。 Hadoop HA（High Availability）是Hadoop的高可用性解决方案，Hadoop SecondaryNameNode和Hadoop JournalNode是其关键组件。 RPC（Remote Procedure Call）通信模型允许一台计算机上的程序调用另一台计算机上的程序，而开发者无需额外地为这种分布式交互编写网络通信代码。Hadoop RPC是Hadoop中使用的一种RPC实现。 HDFS BlockReader是Hadoop分布式文件系统中用于读取数据块的组件，它使得MapReduce等大数据处理框架能够高效地读取和处理存储在HDFS上的数据。 Hive是一个数据仓库软件，提供数据存储、查询和分析的功能。Hive的数据模型包括星型模型、雪花模型、范式模型和星座模型。 HTTP协议是应用层的协议，定义了客户端和服务端之间通信的规则。HTTP请求和应答是HTTP协议中核心的两个部分，其中请求包括请求方法、请求头、请求体等，应答包括状态码、应答头、应答体等。HTTP消息报头包含了请求和响应的元数据，包括内容类型、内容长度、缓存控制等。 HTTP与HTTPS的区别主要在于加密，HTTPS在HTTP的基础上通过SSL/TLS协议提供了数据加密、身份认证和数据完整性校验等安全特性。HTTP与SOCKET的区别在于，HTTP是应用层协议，而SOCKET是提供操作系统内核网络通信功能的编程接口。 Cookie协议是一种用于存储客户端与服务端交互数据的机制，主要属性包括名称、值、域、路径等。Cookie与SESSION的区别在于，Cookie存储在客户端，而SESSION存储在服务端。 Java常量池和Java static关键字是Java语言中常见的特性，常量池用于存储字面量和符号引用，static关键字用于定义类属性和类方法。 Redis是一种支持key-value存储的非关系型数据库，具有高性能、持久化、原子操作等特性。Redis持久化主要有两种方式：快照和AOF。 MySQL是目前使用最广泛的开源关系数据库管理系统，其核心特性包括事务支持、存储过程、触发器等。MySQL索引分为多种类型，包括普通索引、唯一索引、全文索引等。不适合建立索引的情形包括数据量小、更新频繁的表字段、数据区分度不高的字段等。 ZooKeeper是一个开源的分布式协调服务，它提供了同步服务、命名服务、配置管理等分布式服务。 以上知识点是大数据面试中经常考察的内容，涵盖了代理模式、JVM、Java关键字、线程、分布式系统设计、Hadoop组件、网络通信协议、数据库技术等多个方面。在准备大数据面试时，应重点理解和掌握这些知识点，以应对面试中可能遇到的各种问题。