没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
Flink任务、Spark任务提交到集群,通常需要将可执行Jar上传到集群,手动执行任务提交指令,如果有配套的大数据平台则需要上传Jar,由调度系统进行任务提交。 对开发者来说,本地IDEA调试Flink、Spark任务不涉及对象的序列化及反序列化,任务在本地调试通过后,执行在分布式环境下也可能会出错。 而将任务提交到集群进行调试还要走那些繁琐的流程太影响效率了。 因此,为方便大数据开发人员进行快速开发调试,开发了从本地IDEA提交Flink/Spark任务到集群的工具类。任务提交代码稍加改造后也可以和上层调度系统进行集成,替代脚本模式进行任务提交的方式。 支持Flink yarnPerJob、Standalone 、yarnSession模式下的任务提交。 支持Spark任务以Yarn Cluster模式提交到YARN,支持自动上传用户Jar包,依赖的Spark Jars需要提前上传到H
资源推荐
资源详情
资源评论
收起资源包目录
flink-spark-submiter-flink-1.12.zip (78个子文件)
flink-spark-submiter-flink-1.12
.gitignore 194B
derby.log 705B
README.md 11KB
pom.xml 700B
flink-yarn-submiter
pom.xml 7KB
src
main
resources
log4j.properties 11KB
java
cn
todd
flink
launcher
LauncherMain.java 11KB
utils
MathUtil.java 6KB
ApplicationWSParser.java 5KB
HttpClientUtil.java 5KB
UrlUtil.java 3KB
JobGraphBuildUtil.java 4KB
log
RunningLog.java 8KB
FinishedLog.java 10KB
enums
ERunMode.java 1KB
ETaskStatus.java 1KB
entity
JobParamsInfo.java 6KB
TaskmanagerInfo.java 3KB
factory
StandaloneClientFactory.java 1KB
AbstractClusterClientFactory.java 3KB
YarnClusterClientFactory.java 5KB
executor
StandaloneExecutor.java 4KB
YarnSessionClusterExecutor.java 4KB
YarnJobClusterExecutor.java 9KB
AbstractClusterExecutor.java 4KB
spark-k8s-submiter
pom.xml 3KB
src
main
java
cn
todd
spark
launcher
LauncherMain.java 7KB
status
PodStatusQuery.java 3KB
entity
JobParamsInfo.java 5KB
scala
org
apache
spark
deploy
k8s
submit
ChildKubernetesClientApplication.scala 12KB
ExtendConfig.scala 1KB
SparkKubernetesClientFactory.scala 5KB
examples
pom.xml 706B
flink-sql-executor
README.md 2KB
pom.xml 7KB
src
main
resources
log4j.properties 343B
META-INF
services
org.apache.flink.table.factories.Factory 919B
sql
gen-console.sql 514B
java
cn
todd
flink
utils
JsonUtils.java 2KB
TalStringUtil.java 6KB
PropertiesUtils.java 1KB
Main.java 1KB
parser
ParamsParser.java 2KB
ParamsInfo.java 1KB
SqlCommandParser.java 6KB
config
StreamEnvConfigManager.java 19KB
connectors
console
utils
TablePrintUtil.java 9KB
sink
ConsoleSink.java 2KB
ConsoleOutputFormat.java 2KB
factory
ConsoleTableSinkFactory.java 2KB
randomdata
source
RandomDataGenTableSource.java 3KB
factory
RandomDataTableSourceFactory.java 6KB
enums
EStateBackend.java 1KB
executor
SqlExecutor.java 5KB
spark-sql-proxy
pom.xml 5KB
src
main
java
cn
todd
spark
SparksqlProxy.java 4KB
StringUtils.java 5KB
flink-kafka-reader
pom.xml 6KB
src
main
java
cn
todd
flink
MqJsonRowDeserializationSchema.java 13KB
TimeFormats.java 2KB
KafkaReader.java 3KB
common
pom.xml 1KB
src
main
java
cn
todd
common
utils
ExceptionUtils.java 14KB
PublicUtil.java 5KB
HadoopConfParseUtil.java 2KB
function
ThrowingConsumer.java 1KB
SupplierWithException.java 1KB
FunctionUtils.java 3KB
FunctionWithException.java 1KB
spark-yarn-submiter
pom.xml 4KB
src
main
resources
log4j.properties 11KB
java
cn
todd
spark
launcher
LauncherMain.java 8KB
utils
TdStringUtil.java 4KB
YarnConfLoaderUtil.java 3KB
HdfsUtil.java 3KB
client
YarnSubmitClient.java 2KB
entity
JobParamsInfo.java 6KB
scala
org
apache
spark
deploy
yarn
ChildYarnClient.scala 66KB
共 78 条
- 1
资源评论
- 张博士-体态康复2023-07-28这篇文件详细介绍了如何使用flink-spark-submitter工具将FlinkSpark任务提交到Yarnk8s集群,非常实用。
- 养生的控制人2023-07-28作者在文件中清楚地解释了每个步骤,使得读者能够快速上手并成功提交任务。
- 懂得越多越要学2023-07-28作者在文章中给出了一些有用的提示和注意事项,帮助读者避免一些常见的错误。
- ali-122023-07-28总体而言,这篇文章对于那些想要在Yarnk8s集群上运行FlinkSpark任务的人来说是一份很有用的参考资料。
- wxb0cf756a5ebe75e92023-07-28这篇文章对于想要在本地IDEA中提交任务的读者来说是一个很好的指南,非常值得一读。
薯条说影
- 粉丝: 32
- 资源: 4689
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功