作者：鼾声鼾语

华为昇腾AI处理器，atc模型转换和推理过程，华为的CANN库对标的是NVIDIA的cuda，所以在华为昇腾AI处理器上安装了CANN后，就可以直接使用pytorch了，以及推理框架(参考学习)

1，模型转换atc模型转换

在这里插入图片描述
模型转换如图
参考链接如下：
https://toscode.mulanos.cn/ascend/samples/tree/master/inference/modelInference/sampleResnetQuickStart/cpp

2，推理运行，这里需要注意用到了infer，有点类似的pytorch对模型的加载使用

在这里插入图片描述

model = InferSession(0, model_path)
参考链接1:
参考链接2：

3，有人用下面的代码进行推理，没看懂是用的哪个库

   print("Loading model %s" % o
lock

相关推荐