没有合适的资源?快使用搜索试试~ 我知道了~
TensorFlowOnSpark:TensorFlowOnSpark将TensorFlow程序引入Apache Spark集群
共94个文件
py:43个
rst:14个
md:10个
需积分: 12 2 下载量 121 浏览量
2021-02-03
06:00:10
上传
评论
收藏 271KB ZIP 举报
温馨提示
TensorFlowOnSpark TensorFlowOnSpark为Apache Hadoop和Apache Spark集群带来了可扩展的深度学习。 通过将深度学习框架中的突出功能与和,TensorFlowOnSpark可以在GPU和CPU服务器集群上实现分布式深度学习。 它支持在Spark集群上进行分布式TensorFlow训练和推理,其目标是最大程度地减少在共享网格上运行现有TensorFlow程序所需的代码更改量。 其兼容Spark的API通过以下步骤帮助管理TensorFlow集群: 启动-在执行程序上启动Tensorflow主要功能,以及数据/控制消息的侦听器。 数据提取 InputMode.TENSORFLOW-利用TensorFlow的内置API直接从HDFS读取数据文件。 InputMode.SPARK-通过TFNode.DataFeed类将Spark RDD数据发送到TensorFlow节点。 请注意,我们利用来访问HDFS上的TFRecords。 Shutdown-关闭执行器上的Tensorflow worker和PS节点。 目录 背景 Tenso
资源推荐
资源详情
资源评论
收起资源包目录
TensorFlowOnSpark-master.zip (94个子文件)
TensorFlowOnSpark-master
setup.py 805B
Code-of-Conduct.md 7KB
.tidelift.yml 42B
.travis.settings.xml 426B
.gitignore 175B
Contributing.md 2KB
requirements.txt 86B
screwdriver.yaml 2KB
src
main
scala
com
yahoo
tensorflowonspark
TFParams.scala 2KB
TFModel.scala 14KB
Inference.scala 3KB
SimpleTypeParser.scala 2KB
DFUtil.scala 12KB
test
scala
com
yahoo
tensorflowonspark
TFModelTest.scala 5KB
TestData.scala 2KB
SimpleTypeParserTest.scala 439B
DFUtilTest.scala 5KB
LICENSE 9KB
setup.cfg 3KB
.github
ISSUE_TEMPLATE
bug_report.md 653B
pom.xml 7KB
examples
segmentation
segmentation_spark.py 7KB
README.md 6KB
segmentation_dist.py 5KB
segmentation.py 5KB
utils
mnist_reshape.py 308B
stop_streaming.py 547B
resnet
__init__.py 0B
resnet_cifar_main.py 10KB
README_orig.md 3KB
resnet_cifar_spark.py 1KB
README.md 5KB
resnet_cifar_dist.py 10KB
mnist
mnist_data_setup.py 3KB
estimator
mnist_spark_streaming.py 6KB
mnist_pipeline.py 8KB
README.md 11KB
mnist_tf.py 5KB
mnist_spark.py 6KB
mnist_inference.py 4KB
keras
mnist_pipeline.py 6KB
mnist_tf_ds.py 6KB
README.md 8KB
mnist_tf.py 4KB
mnist_spark.py 5KB
mnist_inference.py 3KB
sd.allow 38B
scripts
install_spark.sh 444B
deploy.generic
root
spark-ec2
ec2-variables.sh 1KB
spark-ec2 1KB
spark_ec2.py 60KB
stop_spark.sh 84B
start_spark.sh 495B
ec2-cloud-config.txt 95B
README.md 5KB
tests
test_reservation.py 4KB
test_TFCluster.py 4KB
test_dfutil.py 2KB
README.md 2KB
test_TFNode.py 2KB
test.py 1KB
test_TFSparkNode.py 8KB
run_tests.sh 801B
test_pipeline.py 7KB
lib
tensorflow-hadoop-1.0-SNAPSHOT.jar 115KB
docs
source
tensorflowonspark.TFNode.rst 165B
tensorflowonspark.gpu_info.rst 173B
tensorflowonspark.TFManager.rst 174B
tensorflowonspark.TFCluster.rst 174B
index.rst 488B
tensorflowonspark.marker.rst 165B
conf.py 5KB
tensorflowonspark.reservation.rst 180B
tensorflowonspark.rst 553B
tensorflowonspark.util.rst 159B
tensorflowonspark.reservation_client.rst 203B
tensorflowonspark.TFSparkNode.rst 180B
tensorflowonspark.pipeline.rst 171B
tensorflowonspark.dfutil.rst 165B
tensorflowonspark.TFParallel.rst 176B
tox.ini 3KB
tensorflowonspark
compat.py 1KB
dfutil.py 8KB
pipeline.py 25KB
__init__.py 156B
marker.py 480B
reservation.py 9KB
TFCluster.py 17KB
TFManager.py 2KB
TFSparkNode.py 26KB
TFParallel.py 2KB
gpu_info.py 3KB
util.py 3KB
TFNode.py 12KB
共 94 条
- 1
资源评论
李青廷Austin
- 粉丝: 21
- 资源: 4612
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功