01
RUNTIME
模型的每一帧推理都会创建一个engine,运行完成后都会进行销毁。engine主要负责以下几块内容:
1.处理模型的动态输入数据,将模型层面的输入整合成模型执行所需要的Context。
2.创建中间节点所需的输入、输出内存。
3.为每一个节点执行创建所需的执行信息(ExecInfo对象),并且将Node的每一个输入、输出与内存关
联起来。
bool_t is_preempt_{false};// 标记是否抢占执行
uint32_t core_id_{0};// 核心 ID
4.遍历执行模型的每一个Node,可选择Dump Node的输入和输出数据。