【SparkSql篇03】SparkSql之数据加载和保存1

SparkSQL是Apache Spark的一个重要组件，它提供了对结构化数据的处理能力，使得用户可以通过SQL语句进行数据查询和分析。在本篇中，我们将详细探讨SparkSQL中的数据加载和保存，以及如何与Hive集成。 1. **加载数据** - **read直接加载数据**：SparkSQL提供了一个`read`方法，用于从各种数据源加载数据。例如，使用`textFile`加载文本文件数据，或使用`jdbc`加载来自数据库的数据。在调用`read`时，需要传递相应的参数，如加载数据的路径或JDBC连接参数。 - **format指定数据类型**：通过`format`方法，可以指定数据的格式，如"csv"、"jdbc"、"json"、"orc"、"parquet"和"textFile"。例如，`spark.read.format("csv").load("path")`将加载CSV格式的数据。 - **option设置参数**：对于像"jdbc"这样的格式，需要使用`option`方法设置额外的参数，如数据库URL、用户名、密码和表名。 2. **保存数据** - **write直接保存数据**：与`read`类似，`write`方法用于将DataFrame或DataSet保存到不同的数据源。同样，需要传入必要的参数，比如保存路径或JDBC信息。 - **format指定保存格式**：`format`用于指定保存数据的格式。例如，`df.write.format("csv").save("path")`将DataFrame保存为CSV文件。 - **option设置保存选项**：在"jdbc"格式下，使用`option`设置JDBC相关的参数。同时，可以使用`mode`设置保存模式，包括`Append`、`Overwrite`、`ErrorIfExists`和`Ignore`，分别对应追加、覆盖、报错和忽略已存在的数据。 3. **读取JSON数据** SparkSQL可以处理JSON文件，每个JSON对象占一行。通过`SparkSession.read.json()`加载JSON文件，自动推断数据结构并转化为DataFrame。加载后的DataFrame可以通过`createOrReplaceTempView`创建临时表，然后使用SQL查询数据。 4. **读取Parquet文件** Parquet是一种列式存储格式，适合大数据处理。SparkSQL默认支持Parquet，可以直接使用`read`加载Parquet数据。通过设置`spark.sql.sources.default`配置，可以指定默认数据源为Parquet。 5. **读取和保存MySQL数据** SparkSQL可以使用JDBC接口从MySQL等关系型数据库中读取数据，并将结果保存回去。需要配置JDBC连接参数，然后使用`read.jdbc`或`write.jdbc`方法进行数据读写。 6. **与Hive集成** - **内嵌Hive**：SparkSQL可以内嵌地使用Hive Metastore，访问Hive表。这通常意味着共享Hive的元数据，但不使用Hive的执行引擎。 - **外置Hive**：如果需要完全集成Hive，包括其执行引擎，可以配置SparkSQL使用外置的Hive服务，这样可以利用Hive的完整功能。 在实践中，理解这些概念和操作对于有效地使用SparkSQL进行大数据处理至关重要。无论是加载JSON、Parquet文件，还是从关系型数据库中提取数据，或者是将结果保存回数据库或文件系统，都需要灵活运用上述方法和技巧。同时，根据实际需求选择合适的保存模式，如追加、覆盖或忽略，以确保数据处理的正确性和效率。