没有合适的资源?快使用搜索试试~ 我知道了~
TensorFlowOnSpark 将TensorFlow程序带到Apache Spark集群上-python
共94个文件
py:44个
rst:14个
md:10个
需积分: 16 1 下载量 51 浏览量
2021-06-18
18:19:01
上传
评论
收藏 272KB ZIP 举报
温馨提示
TensorFlowOnSpark 将TensorFlow程序带到Apache Spark集群上,雅虎开源项目将TensorFlow与Spark结合 TensorFlowOnSpark TensorFlowOnSpark 为 Apache Hadoop 和 Apache Spark 集群带来了可扩展的深度学习。 通过将 TensorFlow 深度学习框架的显着特征与 Apache Spark 和 Apache Hadoop 相结合,TensorFlowOnSpark 支持在 GPU 和 CPU 服务器集群上进行分布式深度学习。 它支持在 Spark 集群上进行分布式 TensorFlow 训练和推理,目标是最大限度地减少在共享网格上运行现有 TensorFlow 程序所需的代码更改量。 它的 Spark 兼容 API 通过以下步骤帮助管理 TensorFlow 集群: 启动 - 在执行器上启动 Tensorflow 主函数,以及数据/控制消息的侦听器。 数据摄取 InputMode.TENSORFLOW - 利用 TensorFlow 的内置 API 直接从 HDFS 读取数
资源推荐
资源详情
资源评论
收起资源包目录
TensorFlowOnSpark.zip (94个子文件)
TensorFlowOnSpark-master
pom.xml 7KB
tensorflowonspark
TFNode.py 12KB
pipeline.py 25KB
util.py 3KB
TFSparkNode.py 26KB
compat.py 1KB
gpu_info.py 3KB
TFCluster.py 17KB
__init__.py 156B
dfutil.py 8KB
reservation.py 9KB
marker.py 480B
TFManager.py 2KB
TFParallel.py 2KB
sd.allow 38B
.github
ISSUE_TEMPLATE
bug_report.md 653B
tests
test_dfutil.py 2KB
test.py 1KB
run_tests.sh 801B
test_TFCluster.py 5KB
test_TFNode.py 2KB
test_pipeline.py 7KB
test_reservation.py 4KB
test_TFParallel.py 2KB
README.md 2KB
test_TFSparkNode.py 8KB
tox.ini 3KB
LICENSE 9KB
src
test
scala
com
yahoo
tensorflowonspark
DFUtilTest.scala 5KB
TestData.scala 2KB
TFModelTest.scala 5KB
SimpleTypeParserTest.scala 439B
main
scala
com
yahoo
tensorflowonspark
TFParams.scala 2KB
TFModel.scala 14KB
DFUtil.scala 12KB
Inference.scala 3KB
SimpleTypeParser.scala 2KB
setup.cfg 3KB
screwdriver.yaml 2KB
requirements.txt 62B
doc
source
tensorflowonspark.TFManager.rst 174B
tensorflowonspark.marker.rst 165B
tensorflowonspark.TFCluster.rst 174B
conf.py 5KB
tensorflowonspark.TFParallel.rst 176B
tensorflowonspark.gpu_info.rst 173B
tensorflowonspark.dfutil.rst 165B
tensorflowonspark.pipeline.rst 171B
tensorflowonspark.rst 553B
tensorflowonspark.TFNode.rst 165B
tensorflowonspark.util.rst 159B
tensorflowonspark.TFSparkNode.rst 180B
tensorflowonspark.reservation.rst 180B
index.rst 488B
tensorflowonspark.reservation_client.rst 203B
examples
mnist
keras
mnist_tf_ds.py 6KB
mnist_inference.py 3KB
mnist_pipeline.py 6KB
README.md 8KB
mnist_tf.py 4KB
mnist_spark.py 5KB
estimator
mnist_inference.py 4KB
mnist_spark_streaming.py 6KB
mnist_pipeline.py 8KB
README.md 11KB
mnist_tf.py 5KB
mnist_spark.py 6KB
mnist_data_setup.py 3KB
resnet
resnet_cifar_dist.py 10KB
resnet_cifar_spark.py 1KB
__init__.py 0B
README.md 5KB
README_orig.md 3KB
resnet_cifar_main.py 10KB
utils
mnist_reshape.py 308B
stop_streaming.py 547B
segmentation
segmentation_dist.py 5KB
segmentation.py 5KB
README.md 6KB
segmentation_spark.py 7KB
Code-of-Conduct.md 7KB
setup.py 805B
.gitignore 175B
lib
tensorflow-hadoop-1.0-SNAPSHOT.jar 115KB
README.md 5KB
Contributing.md 2KB
scripts
spark_ec2.py 60KB
deploy.generic
root
spark-ec2
ec2-variables.sh 1KB
start_spark.sh 495B
install_spark.sh 444B
stop_spark.sh 84B
spark-ec2 1KB
ec2-cloud-config.txt 95B
.tidelift.yml 42B
共 94 条
- 1
资源评论
西西里上尉
- 粉丝: 24
- 资源: 4667
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功