本地使用scala操作spark示例.doc

本地使用scala操作spark示例

一, SparkSession的配置:

val spark = SparkSession

.builder()

.master("local[*]")

.appName("local_client_hive")

.enableHiveSupport() // 启用 Hive 支持

.config("hive.metastore.uris", "thrift://master02:9083") // 设置 Hive Metastore 的地址

.config("hive.metastore.warehouse.dir", "/user/hive/warehouse")

默认为strict，表示必须保证至少有一个分区是静态的）

.getOrCreate()

二, 通过dataframe向hive表中插入数据:

解决sparksql 分区覆盖问题：

背景：使用saveAsTable 造成覆盖所有数据，不是按照分区覆盖数据，需要使用insertInto

方法

1, 保证dataframe中有分区字段(SparkSession中必须添加配置:

"spark.sql.sources.partitionOverwriteMode", "dynamic", 否则执行insertInto时会把对应hive表

中全部分区删除, 只留本次插入数据的分区!!!!!!!!!!!!!!!!!! );

2, 使用insertInto插入对应表;