(完整word版)大数据面试题资料.doc

大数据面试题资料.doc 本文档是关于大数据面试题的资料，涵盖了 Hive 中内部表与外部表的区别、创建内部表和外部表的方法、Hive 的 schema on read 模式的特点、load data 的优势等内容。 Hive 内部表与外部表的区别 Hive 中的内部表和外部表的主要区别在于数据的存储和管理方式。内部表是在 Hive 中创建的表，Hive 会将数据移动到数据仓库指向的路径，而外部表仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。 创建内部表 创建内部表可以使用以下语句： ```sql create table test(userid string); LOAD DATA INPATH '/tmp/result/20121213' INTO TABLE test partition(ptDate='20121213'); ``` 这种方式会将数据移动到数据仓库指向的路径。 创建外部表 创建外部表可以使用以下语句： ```sql create EXTERNAL table IF NOT EXISTS test (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; ``` 外部表的数据源路径可以使用 LOCATION 语句指定，例如： ```sql alter table test add partition (ptDate='20121214') location '/tmp/result/20121214'; ``` Hive 的 schema on read 模式 Hive 遵循 schema on read 模式，即在读取数据的时候才检查和解析数据字段和 schema，而不是在写入数据的时候。这使得 load data 变得非常迅速，因为它不需要读取数据进行解析，仅仅进行文件的复制或者移动。 schema on read 模式的优点是可以快速加载数据，但是在查询数据的时候需要花费更多的时间来解析和检查数据字段和 schema。 与传统数据库的对比 传统数据库通常使用 schema on write 模式，即在写入数据的时候就检查和解析数据字段和 schema。这使得查询数据的时候变得非常快速，因为已经预先解析和检查了数据字段和 schema。但是，这也使得加载数据变得非常缓慢，因为需要读取数据进行解析和检查。 Hive 的 schema on read 模式和传统数据库的 schema on write 模式都有其优点和缺点，需要根据实际情况选择合适的模式。