Spark SQL 2.3.0：深入浅出

Spark SQL 2.3.0：深浅出

Spark SQL 概述

!"#$%&!'(&)*&+"#,-.&!"#$%/*&01234.&51$&61$%)78&6)9-&*9$3,93$.2&2#9#:

;:& 集成

!"#$%&!<4&可以使󰉁&!'(&或者所熟悉的&=#9#>$#0.&+?@&在&*"#$%&程序

中查询结构化的数据。

A:& 统的数据访问

!"#$%&!<4&提供访问各种数据源的常󰉁法，包括&B)C.，+C$1，

?#$<3.9，DEF，G!DH&和&G=IF。

󰶳先，!"#$%&!'(&对外提供多种访问式，我们可以通过&B)C.&B<4、

!"#$%&编程的式（!'(&或者&=#9#>$#0M=#9#*.9&+?@）、!9$.#0)78&!'(

的式提交执󰢩程序。

然后，会󰈿成个未完全解析的逻辑执󰢩计划，再集合内部&*,-.0#&信息

󰈿󰈿个逻辑执󰢩计划，最后再经过优化，最终󰈿成个优化后的逻辑执

󰢩计划，󰖳这切就是&!"#$%&!'(&的核&NN&F#9#4O*9&来完成。

最后，将优化后的逻辑执󰢩计划交由&!"#$%&P78)7.&来翻译执󰢩我们提交

的作业。

;:& 以的形式构成的分布式数据集，按照赋予同的名称（相当于加

上&*,-.0#&的&E==）。

A:& 可以看做是个经过优化后的个数据表（9#Q4.）。

J:& 提供类&!'(&的&+?@&如：*.4.,9M5)49.$M#88$.8#9)17M6-.$.&操作结构化

的数据。

L:& 将&EM?#72#*&处󰇹数据的经验复󰉁到分布式的数据上，应为它的

灵感来󰙵&EM?#72#*。

;:& F$.#9.&=#9#>$#0.