【SparkSql篇02】SparkSql之自定义UDF和UDAF函数1
需积分: 0 147 浏览量
2022-08-04
17:20:13
上传
评论
收藏 430KB PDF 举报
万物皆工具，只不过有的工具比较高级，有的工具处于底层，互相结合使用罢了
SparkSQL自定义UDF和UDAF函数
IDEA创建SparkSQL程序
（1）添加SparkSQL的依赖
（2）编写SparkSQL代码
从上面的代码可以得知我们能使用两种方式来处理DataFrame中的数据，一种是调用
DataFrame自身的API，一种是通过SparkSQL来处理数据。对于简单的数据处理可以使用
DataFrame自带的接口处理，如果是业务处理相对复杂，需要关联其它数据，那就使用
SparkSQL来处理。
自定义UDF函数
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.1.1</version>
</dependency>
object SparkSQLDemo {
def main(args: Array[String]): Unit = {
// 创建SparkSession
val spark: SparkSession = SparkSession.builder()
.master("local[*]")
.appName("SparkSQLDemo")
.getOrCreate()
//导入用到隐式转换
//从json文件中创建DF
val df = spark.read.json("file://" +
ClassLoader.getSystemResource("phone.json").getPath)
// 查找年龄大于19岁的
// df.filter($"price" >= 4500).show
// 创建临时表
df.createTempView("phone")
spark.sql("select * from phone where price >= 4500").show
//关闭连接
spark.stop()
}
}
评论0