# ModelBox
[![daily building](https://github.com/modelbox-ai/modelbox/actions/workflows/unit-test-daily-on-device.yml/badge.svg)](https://github.com/modelbox-ai/modelbox/actions/workflows/unit-test-daily-on-device.yml)
[English](README_en.md)
ModelBox是一个适用于端边云场景的AI推理应用开发框架,提供了基于Pipeline的并行执行流程,能帮助AI应用开发者较快的开发出高效,高性能,以及支持软硬协同优化的AI应用。[详细介绍](http://modelbox-ai.com/modelbox-book/)
## ModelBox特点
1. **易于开发**
AI推理业务可视化编排开发,功能模块化,丰富组件库;c++,python, Java多语言支持。
1. **易于集成**
集成云上对接的组件,云上对接更容易。
1. **高性能,高可靠**
pipeline并发运行,数据计算智能调度,资源管理调度精细化,业务运行更高效。
1. **软硬件异构**
CPU,GPU,NPU多异构硬件支持,资源利用更便捷高效。
1. **全场景**
视频,语音,文本,NLP全场景,专为服务化定制,云上集成更容易,端边云数据无缝交换。
1. **易于维护**
服务运行状态可视化,应用,组件性能实时监控,优化更容易。
## ModelBox解决的问题
目前AI应用开发时,训练完成模型后,需要将多个模型和应用逻辑串联在一起组成AI应用,并上线发布成为服务或应用。在整个过程中,需要面临复杂的应用编程问题:
|问题|问题说明|
|--|--|
|需要开发AI应用的周边功能|比如AI应用编译工程,应用初始化,配置管理接口,日志管理口,应用故障监控等功能。|
|需要开发AI常见的前后处理|音视频加解码,图像转换处理,推理前处理,后处理YOLO等开发。 |
|需要开发和云服务对接的周边功能|比如HTTP服务开发,云存储,大数据服务,视频采集服务对接开发。 |
|需要开发出高性能的推理应用|需要基于多线程,内存池化,显存池化,多GPU加速卡,模型batch批处理,调用硬件卡的API等手段开发应用。|
|需要开发验证docker镜像|需要开发docker镜像,集成必要的ffmpeg,opencv软件,CUDA, MindSpore,TensorFlow等软件,并做集成测试验证。|
|多种AI业务,需要共享代码,降低维护工作|需要复用不同组件的代码,包括AI前后处理代码,AI应用管理代码,底层内存,线程管理代码等。|
|模型开发者,验证模型功能比较复杂|模型开发者完成模型训练后,需要编写python代码验证,之后,再转成生产代码;在高性能,高可靠场景改造工作量大。|
ModelBox的目标是解决AI开发者在开发AI应用时的编程复杂度,降低AI应用的开发难度,将复杂的数据处理,并发互斥,多设备协同,组件复用,数据通信,交由ModelBox处理。开发者主要聚焦业务逻辑本身,而不是软件细节。 在提高AI推理开发的效率同时,保证软件的性能,可靠性,安全性等属性。
## 开始使用
ModelBox支持两种方式运行,一种是服务化,一种是SDK,开发者可以按照下表选择相关的开发模式。
|开发模式|开发模式适用场景|
|--|--|
|服务化|ModelBox为独立的服务,适合云服务,端侧服务的AI推理开发场景,包括了后台服务,运维工具,docker镜像等服务化组件|
|SDK|ModelBox提供了ModelBox开发库,使用于扩展现有应用支持高性能AI推理,专注AI推理业务,支持c++,Python集成|
在开发AI推理应用时,可以按照[第一个应用](https://modelbox-ai.com/modelbox-book/first-app/mnist.html)的流程开发AI应用。
没有合适的资源?快使用搜索试试~ 我知道了~
AI应用开发和运行框架适用于端边云场景的AI推理应用开发框架
共1307个文件
cc:442个
h:299个
txt:200个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 140 浏览量
2024-04-10
09:35:16
上传
评论
收藏 11.23MB ZIP 举报
温馨提示
ModelBox是一个适用于端边云场景的AI推理应用开发框架,提供了基于Pipeline的并行执行流程,能帮助AI应用开发者较快的开发出高效,高性能,以及支持软硬协同优化的AI应用。详细介绍。ModelBox特点。易于开发。AI推理业务可视化编排开发,功能模块化,丰富组件库;c++,python, Java多语言支持。易于集成。集成云上对接的组件,云上对接更容易。高性能,高可靠。pipeline并发运行,数据计算智能调度,资源管理调度精细化,业务运行更高效。软硬件异构。CPU,GPU,NPU多异构硬件支持,资源利用更便捷高效。全场景视频,语音,文本,NLP全场景,专为服务化定制,云上集成更容易,端边云数据无缝交换。易于维护。服务运行状态可视化,应用,组件性能实时监控,优化更容易。ModelBox解决的问题。目前AI应用开发时,训练完成模型后,需要将多个模型和应用逻辑串联在一起组成AI应用,并上线发布成为服务或应用。在整个过程中,需要面临复杂的应用编程问题。比如AI应用编译工程,应用初始化,配置管理接口,日志管理口,应用故障监控等功能。音视频加解码,图像转换处理,推理前处理,后处理
资源推荐
资源详情
资源评论
收起资源包目录
AI应用开发和运行框架适用于端边云场景的AI推理应用开发框架 (1307个子文件)
ascend_crop_yuv 24KB
ascend_padding_yuv 30KB
ascend_resize_yuv 18KB
Dockerfile.ascend.base 3KB
manager_monitor.c 24KB
manager.c 12KB
conf.c 11KB
manager_conf.c 7KB
util.c 5KB
manager_monitor_client.c 4KB
log.c 3KB
common.c 3KB
node_test.cc 145KB
mockflow.cc 130KB
modelbox_api.cc 58KB
graph_checker_test.cc 55KB
data_context.cc 51KB
data_context_test.cc 50KB
tensorrt_inference_flowunit.cc 41KB
flowunit_data_executor.cc 41KB
graph_checker.cc 39KB
editor_plugin.cc 38KB
device_test.cc 37KB
driver.cc 36KB
graph.cc 33KB
serving.cc 32KB
obs_client.cc 29KB
match_stream.cc 28KB
server_test.cc 28KB
node.cc 28KB
demo_test.cc 27KB
virtual_node_test.cc 26KB
graph_test.cc 26KB
modelbox_engine.cc 26KB
tensorflow_inference_common.cc 25KB
flow_test.cc 25KB
driver_test.cc 25KB
blocking_queue_test.cc 24KB
device_memory.cc 23KB
flowunit_data_executor_test.cc 22KB
torch_inference_flowunit.cc 22KB
video_decoder_flowunit.cc 22KB
resize_flowunit_test.cc 21KB
http_helper.cc 21KB
configuration.cc 21KB
buffer.cc 21KB
profiler_test.cc 20KB
mindspore_inference.cc 20KB
car_flow_test.cc 19KB
rockchip_api.cc 19KB
modelbox_fuse.cc 19KB
flowunit.cc 19KB
ascend_memory.cc 18KB
crypto.cc 18KB
nvcodec_video_decoder.cc 18KB
flowunit_test.cc 18KB
cuda_memory.cc 18KB
configuration_test.cc 17KB
tensorflow_inference_mock.cc 17KB
padding_flowunit.cc 17KB
statistics.cc 17KB
httpserver_sync_test.cc 17KB
atc_inference.cc 17KB
modelbox_plugin.cc 16KB
video_demuxer_flowunit.cc 16KB
flow.cc 16KB
data_source_parser_flowunit_test.cc 16KB
configuration.cc 16KB
performance.cc 16KB
output_broker_flowunit.cc 16KB
virtualdriver_python.cc 16KB
buffer_list.cc 16KB
flowunit_manager.cc 15KB
ffmpeg_video_encoder.cc 15KB
dis_output_broker.cc 15KB
flow_graph_desc.cc 15KB
tensorrt_inference_flowunit_test.cc 15KB
dlengine_inference.cc 15KB
utils.cc 15KB
image_process.cc 15KB
flow_scheduler.cc 15KB
video_encoder_flowunit.cc 15KB
torch_inference_flowunit_test.cc 15KB
virtualdriver_java.cc 15KB
driver.cc 15KB
video_decoder_flowunit.cc 15KB
vcn_restful_wrapper.cc 14KB
flowunit_group.cc 14KB
virtualdriver_inference.cc 14KB
popen.cc 14KB
video_decoder_flowunit.cc 14KB
nv_image_decoder_test.cc 13KB
local_camera_flowunit.cc 13KB
graph_manager.cc 13KB
rknpu2_inference.cc 13KB
video_out_flowunit.cc 13KB
draw_bbox_flowunit_test.cc 13KB
control_msg.cc 13KB
virtual_node.cc 13KB
flowunit_desc.cc 13KB
共 1307 条
- 1
- 2
- 3
- 4
- 5
- 6
- 14
资源评论
传奇开心果编程
- 粉丝: 8085
- 资源: 335
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 基于matlab实现车牌识别程序,和论文,自己做的,做毕业设计的可以看看 .rar
- Windows系统下安装与配置Neo4j的步骤
- 基于matlab实现潮流计算和最优潮流计算的程序1,对毕业设计有一定用处.rar
- 基于大数据学习资源推荐系统的设计与实现(部署视频)-kaic.mp4
- 哈工大形式语言和自动机2022期末含答案
- Windows系统下安装与配置Neo4j的步骤
- 哈希算法(Hash Algorithm)是一种将任意长度的二进制数据映射为较短的、固定长度的二进制值的函数.txt
- Windows系统下安装与配置Neo4j的步骤
- 在二叉树或更复杂的树形结构中,先序输出叶结点.txt
- 列出所有祖先结点的概念通常与树形结构或图论中的节点相关.txt
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功