没有合适的资源?快使用搜索试试~ 我知道了~
inter-operator-scheduler:[MLSys 2021] IOS
共93个文件
py:36个
png:13个
sh:9个
需积分: 9 0 下载量 72 浏览量
2021-04-06
08:26:58
上传
评论
收藏 2.74MB ZIP 举报
温馨提示
IOS:用于CNN加速的操作员间调度程序 为了加速CNN推论,现有的深度学习框架专注于优化运营商内部并行化。 但是,鉴于高性能硬件的飞速发展,单个运营商无法再充分利用可用的并行性,从而导致峰值性能与实际性能之间存在较大差距。 在批量较小的情况下,这种性能差距更加严重。 在这项工作中,我们广泛研究了运算符之间的并行性,并提出了运算符间调度程序(IOS)自动并行调度多个运算符的执行。 IOS利用动态编程来查找专门针对目标硬件的调度策略。 在现代CNN基准测试中,IOS始终比最先进的库(例如TensorRT)高1.1到1.5倍。 批量大小为1时,跨不同CNN的不同框架的端到端性能比较。 每种型号的吞吐量均被归一化为最佳吞吐量。 1.方法论 IOS将给定的计算图划分为多个阶段。 每个阶段都有并行化策略。 如上图所示,(1)中的计算图被分为(2)中的两个阶段。 第一阶段包含运算符a和b,第二阶
资源推荐
资源详情
资源评论
收起资源包目录
inter-operator-scheduler-master.zip (93个子文件)
inter-operator-scheduler-master
cmake
FindCUDA.cmake 3KB
figures
schedule_example.png 207KB
reduce_optimization_cost.png 141KB
specialization_example.png 173KB
autotvm.png 95KB
frameworks_comparison.png 155KB
large_batchsize.png 360KB
graph_partition.png 188KB
sample.png 555KB
specialization.png 100KB
demo.png 438KB
schedules.png 154KB
utilization.png 249KB
active_warps.png 43KB
python
ios
models
nasnet.py 10KB
common.py 18KB
resnet.py 4KB
randwire.py 4KB
inception_v3.py 6KB
randwire_graphs
generated
ws-16-4-0.75-2.txt 160B
ws-32-4-0.75-5.txt 350B
ws-32-4-0.75-3.txt 353B
ws-32-4-0.75-4.txt 353B
ws-320-20-0.75-x.txt 23KB
ws.py 2KB
__init__.py 221B
squeezenet.py 2KB
alexnet.py 761B
vgg.py 1KB
ir.py 39KB
utils.py 489B
taso_utils.py 7KB
cost_model.py 2KB
visualizer.py 6KB
torch_utils.py 5KB
__init__.py 385B
tf_utils.py 10KB
tvm_utils.py 15KB
contrib
ctypes_utils.py 1KB
trt_runtime.py 2KB
ios_runtime.py 5KB
__init__.py 0B
optimizer.py 30KB
setup.py 907B
README.md 1KB
include
ios
ops.h 1KB
profile.h 226B
utils
json.h 74KB
utils.h 2KB
json-forwards.h 10KB
LICENSE 1KB
src
ios
ios_runtime.cu 57KB
profile.cu 5KB
ops.cu 2KB
trt
trt_runtime.cc 16KB
README.md 578B
utils
utils.cc 325B
jsoncpp.cpp 157KB
config.cmake 775B
experiments
tests
graph_dp_summary
graph_dp_summary.py 947B
taso_inceptionv3_bs
main.py 6KB
resnet
main.py 704B
large_graph
main.py 536B
tvm_cudnn
main.py 2KB
utilization
main.py 3KB
draw_curve.py 2KB
run_expr_utilization.sh 251B
specialization
main.py 3KB
schedules
16.json 82KB
128.json 82KB
1.json 75KB
64.json 83KB
k80.json 82KB
32.json 83KB
v100.json 75KB
run_expr_spec_batchsize.sh 174B
run_expr_spec_device.sh 195B
latency
main.py 7KB
run_expr_autotvm.sh 492B
run_expr_batchsize.sh 451B
tvm_schedule_configs
inception_v3_None_1.log 27KB
squeezenet_None_1.log 17KB
randwire_large_None_1.log 11KB
nasnet_large_None_1.log 31KB
run_expr_prune.sh 466B
run_expr_frameworks.sh 479B
run_all.sh 108B
run_expr_schedules.sh 506B
examples
sample.py 2KB
inception_v3.py 709B
.gitignore 2KB
CMakeLists.txt 3KB
README.md 31KB
共 93 条
- 1
资源评论
实话直说
- 粉丝: 38
- 资源: 4592
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功