没有合适的资源?快使用搜索试试~ 我知道了~
spark rdd api文档
资源推荐
资源详情
资源评论
Home
Trees
Indices
Help
Spark&1.0.2&Python&API&Docs
Package pyspark :: Module rdd :: Class RDD
!"#$%&'() *)+,)"#$%&'(
Class RDD
source code
object --+ | RDD
)
A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents
an immutable, partitioned collection of elements that can be operated on in
parallel.
Instance Methods
__init__(self, jrdd, ctx, jrdd_deserializer))
-.//0+01//2...3)0+010$405&')-6)'&&)7&482198&2-33)",#)'0:+$1;#&
',;#<&)<,=&
id(self))
>);+0?;&)@A)",#)170')BAA)2C0170+)01')D8$#EF,+1&-13.
',;#<&)<,=&
__repr__(self))
#&8#2-3
',;#<&)<,=&
context(self))
G7&)SparkContext)17$1)170')BAA)C$')<#&$1&=),+.
',;#<&)<,=&
cache(self))
H&#'0'1)170')BAA)C017)17&)=&"$;41)'1,#$:&)4&I&4)2MEMORY_ONLY3.
',;#<&)<,=&
persist(self, storageLevel))
D&1)170')BAAJ')'1,#$:&)4&I&4)1,)8&#'0'1)01')I$4;&')$<#,''),8&#$10,+')$"1&#)17&)
"0#'1)10%&)01)0')<,%8;1&=.
',;#<&)<,=&
unpersist(self))
K$#E)17&)BAA)$')+,+L8&#'0'1&+1M)$+=)#&%,I&)$44)N4,<E')",#)01)"#,%)%&%,#9)
$+=)=0'E.
',;#<&)<,=&
checkpoint(self))
K$#E)170')BAA)",#)<7&<E8,0+10+:.
',;#<&)<,=&
isCheckpointed(self))
B&1;#+)C7&17&#)170')BAA)7$')N&&+)<7&<E8,0+1&=),#)+,1
',;#<&)<,=&
getCheckpointFile(self))
O&1')17&)+$%&),")17&)"04&)1,)C70<7)170')BAA)C$')<7&<E8,0+1&=
',;#<&)<,=&
map(self, f, preservesPartitioning=False))
B&1;#+)$)+&C)BAA)N9)$88490+:)$)";+<10,+)1,)&$<7)&4&%&+1),")170')BAA.
',;#<&)<,=&
flatMap(self, f, preservesPartitioning=False))
B&1;#+)$)+&C)BAA)N9)"0#'1)$88490+:)$)";+<10,+)1,)$44)&4&%&+1'),")170')BAAM)
$+=)17&+)"4$11&+0+:)17&)#&';41'.
',;#<&)<,=&
mapPartitions(self, f, preservesPartitioning=False))
B&1;#+)$)+&C)BAA)N9)$88490+:)$)";+<10,+)1,)&$<7)8$#1010,+),")170')BAA.
',;#<&)<,=&
mapPartitionsWithIndex(self, f, preservesPartitioning=
False))
B&1;#+)$)+&C)BAA)N9)$88490+:)$)";+<10,+)1,)&$<7) 8$#1010,+),")170')BAAM)C704&)
1#$<E0+:)17&)0+=&-),")17&),#0:0+$4)8$#1010,+.
',;#<&)<,=
&
mapPartitionsWithSplit(self, f, preservesPartitioning=
False))
A&8#&<$1&=P);'&)%$8H$#1010,+'Q017@+=&-)0+'1&$=.
',;#<&)<,=
&
filter(self, f))
B&1;#+)$)+&C)BAA)<,+1$0+0+:),+49)17&)&4&%&+1')17$1)'$10'"9)$)8#&=0<$1&.
',;#<&)<,=&
distinct(self))
B&1;#+)$)+&C)BAA)<,+1$0+0+:)17&)=0'10+<1)&4&%&+1')0+)170')BAA.
',;#<&)<,=&
sample(self, withReplacement, fraction, seed=None))
B&1;#+) $) '$%84&=) ';N'&1) ,") 170') BAA) 2#&40&') ,+) +;%89) $+=) "$44') N$<E) ,+)
=&"$;41)#$+=,%):&+&#$1,#)0")+;%89)0');+$I$04$N4&3.
',;#<&)<,=&
takeSample(self, withReplacement, num, seed=None))
B&1;#+)$)"0-&=L'05&)'$%84&=)';N'&1),")170')BAA)2<;##&+149)#&?;0#&')+;%893.
',;#<&)<,=&
union(self, other))
B&1;#+)17&);+0,+),")170')BAA)$+=)$+,17&#),+&.
',;#<&)<,=&
intersection(self, other))
B&1;#+)17&)0+1&#'&<10,+),")170')BAA)$+=)$+,17&#),+&.
',;#<&)<,=&
__add__(self, other))
B&1;#+)17&);+0,+),")170')BAA)$+=)$+,17&#),+&.
',;#<&)<,=&
sortByKey(self, ascending=True, numPartitions=None, key
func=lambda x: x))
D,#1')170')BAAM)C70<7)0')$'';%&=)1,)<,+'0'1),")2E&9M)I$4;&3)8$0#'.
',;#<&)<,
=&
glom(self))
B&1;#+)$+)BAA)<#&$1&=)N 9)<,$4&'<0+:)$44)&4&%&+1') C0170+)&$<7)8$#1010,+)0+1,)
$)40'1.
',;#<&)<,=&
cartesian(self, other))
B&1;#+)17&)F$#1&'0$+)8#,=;<1),")170')BAA)$+=)$+,17&#),+&M)17$1)0'M)17&)BAA)
,")$44)8$0#'),")&4&%&+1'(a, b))C7&#&)a)0')0+)self)$+=)b)0')0+)other.
',;#<&)<,=&
groupBy(self, f, numPartitions=None))
B&1;#+)$+)BAA),"):#,;8&=)01&%'.
',;#<&)<,=&
pipe(self, command, env={}))
B&1;#+)$+)BAA)<#&$1&=)N9)8080+:)&4&%&+1')1,)$)",#E&=)&-1&#+$4)8#,<&''.
',;#<&)<,=&
foreach(self, f))
>8840&')$)";+<10,+)1,)$44)&4&%&+1'),")170')BAA.
',;#<&)<,=&
foreachPartition(self, f))
>8840&')$)";+<10,+)1,)&$<7)8$#1010,+),")170')BAA.
',;#<&)<,=&
collect(self))
B&1;#+)$)40'1)17$1)<,+1$0+')$44),")17&)&4&%&+1')0+)170')BAA.
',;#<&)<,=&
reduce(self, f))
B&=;<&') 17&) &4&%&+1') ,") 170') BAA) ;'0+:) 17&) '8&<0"0&=) <,%%;1$10I&) $+=)
$'',<0$10I&)N0+$#9),8&#$1,#.
',;#<&)<,=&
fold(self, zeroValue, op))
>::#&:$1&) 17&) &4&%&+1') ,") &$<7) 8$#1010,+M) $+=) 1 7&+) 17&) #&';41') ",#) $44) 17&)
8$#1010,+'M);'0+:)$):0I&+)$'',<0$10I&)";+<10,+)$+=)$)+&;1#$4)R5&#,)I$4;&.R
',;#<&)<,=&
aggregate(self, zeroValue, seqOp, combOp))
>::#&:$1&) 17&) &4&%&+1') ,") &$<7) 8$#1010,+M) $+=) 1 7&+) 17&) #&';41') ",#) $44) 17&)
8$#1010,+'M);'0+:)$):0I&+)<,%N0+&)";+<10,+')$+=)$)+&;1#$4)R5&#,)I$4;&.R
',;#<&)<,=&
max(self))
S0+=)17&)%$-0%;%)01&%)0+)170')BAA.
',;#<&)<,=&
min(self))
S0+=)17&)%$-0%;%)01&%)0+)170')BAA.
',;#<&)<,=&
sum(self))
>==);8)17&)&4&%&+1')0+)170')BAA.
',;#<&)<,=&
count(self))
B&1;#+)17&)+;%N&#),")&4&%&+1')0+)170')BAA.
',;#<&)<,=&
stats(self))
B&1;#+)$)StatCounter),NT&<1)17$1)<$81;#&')17&)%&$+M)I$#0$+<&)$+=)<,;+1)
,")17&)BAAJ')&4&%&+1')0+),+&),8&#$10,+.
',;#<&)<,=&
mean(self))
F,%8;1&)17&)%&$+),")170')BAAJ')&4&%&+1'.
',;#<&)<,=&
variance(self))
F,%8;1&)17&)I$#0$+<&),")170')BAAJ')&4&%&+1'.
',;#<&)<,=&
stdev(self))
F,%8;1&)17&)'1$+=$#=)=&I0$10,+),")170')BAAJ')&4&%&+1'.
',;#<&)<,=&
sampleStdev(self))
F,%8;1&) 17&) '$%84&) '1$+=$#=) =&I0$10,+) ,") 170') BAAJ') &4&%&+1') 2C70<7)
<,##&<1') ",#) N0$') 0+) &'10%$10+:) 1 7&) '1$+=$#=) =&I0$10,+) N9) =0I0=0+:) N9) ULV)
0+'1&$=),")U3.
',;#<&)<,=&
sampleVariance(self))
F,%8;1&) 17&) '$%84&) I$#0$+<&) ,") 170') BAAJ') &4&%&+1') 2C70<7) <,##&<1') ",#)
N0$')0+)&'10%$10+:)17&)I$#0$+<&)N9)=0I0=0+:)N9)ULV)0+'1&$=),")U3.
',;#<&)<,=&
countByValue(self))
B&1;#+)17&)<,;+1),")&$<7);+0?;&)I$4;&)0+)170')BAA)$')$)=0<10,+$#9),")2I$4;&M)
<,;+13)8$0#'.
',;#<&)<,=&
top(self, num))
O&1)17&)1,8)U)&4&%&+1')"#,%)$)BAA.
',;#<&)<,=&
takeOrdered(self, num, key=None))
O&1)17&)U)&4&%&+1')"#,%)$)BAA),#=&#&=)0+)$'<&+=0+:),#=&#),#)$')'8&<0"0&=)
N9)17&),810,+$4)E&9)";+<10,+.
',;#<&)<,=&
take(self, num))
G$E&)17&)"0#'1)+;%)&4&%&+1'),")17&)BAA.
',;#<&)<,=&
first(self))
B&1;#+)17&)"0#'1)&4&%&+1)0+)170')BAA.
',;#<&)<,=&
剩余19页未读,继续阅读
资源评论
xuehufeng
- 粉丝: 1
- 资源: 15
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功