数据源
2.1 数据源定义
2.2 数据源注意事项
类型的数据源不能直接
后的数据如果定义为
后,仍然不能使用 。除非定义为
%+28%*%9: &
%%%%%%%%; &/<%/<<;&6&'!;&'''<
%%%%%%%%; &/<%/<<;&6&'!;&'''<
%%%%%%%%; &/<%/<<;&6&'!;&'''<
%%%%%%%%; &/<%/<<;&6&'!;&'''<
%%%%%%%%; &/<%#/<<;&6&'!;&''''
%%%%%%%%+2,2&#'=
68>; ?%8%*%+28&'=%%
会报错因为上面定义为
。而不是
。虽然上面使用了
。
以下是对的
+28%*%9: &
%%%%%%%%; &/<%/<<;&6&'!;&'''<
%%%%%%%%; &/<%/<<;&6&'!;&'''<
%%%%%%%%; &/<%/<<;&6&'!;&'''<
%%%%%%%%; &/<%/<<;&6&'!;&'''<
%%%%%%%%; &/<%#/<<;&6&'!;&''''
%%%%%%%%+2,2&#'=
68>; ?%8%*%+28&'=%%
算子、、、、 、!、"###
'$%! &'
9!>& 中的“9@号(就是算子。
$%&'(%&)
B(一对一转换I即一条转换成另一条。((内部用用 )(必须输出
! $%&'(%&)
,B(一行变零到多行。如下,将一个句子J一行K分割成多个单词J多行K((内部用 ;$(想输出就输出,不想输出就输出(
& $%&'(%&)
,(过滤出需要的数据
' $%&'(&)
L.".(按指定的 L. 对数据重分区。将同一 L. 的数据放到同一个分区。
注意
对数据分组主要是为了进行后续的聚合操作,即对同组数据进行聚合分析。 +2,2 会将一个 68 转化为一个 A28,
聚合操作会将 A28 转化为 68。+2,2 算子将 68 转换成一个 A28。A28
分区结果和 L.". 下游算子的并行度强相关。如下游算子只有一个并行度I不管怎么分,都会分到一起。
!对于 MNM 类型,L.". 可以通过 -.".JODK指定字段进行分区。
&对于 5) 类型,L.". 可以通过 -.".JO$K指定字段进行分区。
'对于一般类型,如上I(L.". 可以通过 -.".J(L.(PQK指定字段进行分区。
评论0
最新资源