PIP安装Funboost，Python全功能分布函数调度,并发模式模式全球全球消息队列.zip

# 1.分布式函数调度框架简介 <pre style="color: greenyellow;background-color: #0c1119; font-size: medium;"> pip install funboost ,python全功能分布式函数调度框架,。 支持python所有类型的并发模式和全球一切知名消息队列中间件， python函数加速器，框架包罗万象，一统编程思维，兼容50% python编程业务场景，适用范围广。 只需要一行代码即可分布式执行python一切函数，99%用过funboost的pythoner 感受是 方便 快速 强大。 python万能分布式函数调度框架，支持5种并发模式，30种消息中间件，20种任务控制功能。给任意python函数赋能。 用途概念就是常规经典的 生产者 + 消息队列中间件 + 消费者 编程思想。 框架只需要学习@boost这一个装饰器的入参就可以，所有用法几乎和1.3例子一摸一样，非常简化简单。 </pre> ### 框架评价 ``` 95%的用户在初步使用后，赞不绝口、相见恨晚。认为funboost框架使用简单但功能强大和丰富。 第一次听说此框架的，100%用户会质疑框架性能不行，功能少，表示学习celery的教程文档上的所有功能 已近非常费劲头疼折磨，各种报错不知道如何解决。 一般python用户听到一个新的python框架，脚都软了，学习类似django celery scrapy意味着要学习 几个月文档才只能掌握框架的一小部分用法了， 尤其是celery这种框架，代码在pycharm完全不能自动补全提示，用户连@task装饰的函数有什么方法， 每个方法有什么入参都不知道，配置文件能写哪些配置都不知道，如果不按照博客上的celery目录结构写celery任务 ，连celery命令行运行起来都要反复猜测尝试。 正因为如此用户从心理已近十分惧怕学习一种叫python框架的东西了，用户顶多愿意学习一个python包或者模块， 学习一个框架会非常害怕觉得难度高且耗时，所以非常反感尝试新的框架。 funboost只有一个@boost装饰器，@boost入参能自动补全，更重要的是被@boost装饰的函数， 有哪些方法，每个方法入参是什么都能自动补全。funboost的中间件配置文件自当生成在用户当前项目根目录， 用户无需到处找文档，能配置什么东西，框架功能怎么配置。 因为funboost非常注重代码补全提示，所以不存在上面celery的那些复杂高难度缺点。 ``` funboost的旧框架名字是function_scheduling_distributed_framework , 关系和兼容性见1.0.3介绍。 旧框架地址： [https://github.com/ydf0509/distributed_framework](https://github.com/ydf0509/distributed_framework) ## 1.0 github地址和文档地址 ### 1.0.1 [分布式函数调度框架文档地址](https://funboost.readthedocs.io/zh/latest/index.html) [查看分布式函数调度框架文档](https://funboost.readthedocs.io/zh/latest/index.html) [funboost依赖的nb_log日志文档](https://nb-log-doc.readthedocs.io/zh_CN/latest/articles/c9.html#id2) ``` 文档很长，但归根结底只需要学习 1.3 里面的这1个例子就行，主要是修改下@boost的各种参数， 通过不同的入参，实践测试下各种控制功能。 对比 celery 有20种改善，其中之一是无依赖文件夹层级和文件夹名字 文件名字。 首先能把 https://github.com/ydf0509/celery_demo 这个例子的已经写好的不规则目录层级和文件名字的函数用celery框架玩起来，才能说是了解celery， 否则如果项目文件夹层级和文件名字不规矩，后期再用celery，会把celery新手折磨得想死， 很多新手需要小心翼翼模仿网上说的项目目录结构，以为不按照那么规划目录和命名就玩不起来，本身说明celery很坑。 ``` ### 1.0.2 [分布式函数调度框架github地址](https://github.com/ydf0509/funboost) [查看分布式函数调度框架github项目](https://github.com/ydf0509/funboost) [//]: # (### 1.0.3 [分布式函数调度框架qq群]&#40;https://qm.qq.com/cgi-bin/qm/qr?k=unA_o_L3sv5yushJzYGUTAwSzZ7GhUhq&jump_from=webapi&#41;) [//]: # (现在新建一个qq群 189603256) [//]:# ([点击加入 python万能分布式函数调度框架qq群]&#40;https://qm.qq.com/cgi-bin/qm/qr?k=unA_o_L3sv5yushJzYGUTAwSzZ7GhUhq&jump_from=webapi&#41;) ### 1.0.3 funboost 框架 和 function_scheduling_distributed_framework 框架 关系说明 ``` funboost 是 function_scheduling_distributed_framework的包名更新版本 ``` <span style="font-size:15px">旧框架地址：<span><a href="https://github.com/ydf0509/distributed_framework" style="font-size: 15px">function_scheduling_distributed_framework框架地址链接</a> ## 1.1 安装方式 pip install funboost --upgrade ## 1.2 框架功能介绍 分布式函数调度框架，支持5种并发模式，20+种消息中间件，20种任务控制功能。<br> 用途概念就是常规经典的 生产者 + 消息队列中间件 + 消费者 编程思想。 有了这个框架，用户再也无需亲自手写操作进程、线程、协程的并发的代码了。 有了这个框架，用户再也无需亲自手写操作redis rabbitmq socket kafka 了。 [](https://imgtu.com/i/sgV2xP) ### 1.2.1 框架支持5种并发模式 <div style=" font-size: xx-large; font-family: 黑体,serif; "> threading <span style="font-size: medium">(使用的是可变线程池，可以智能自动缩小和扩大线程数量) </span> </div> <div style=" font-size: xx-large; font-family: 黑体,serif; "> gevent </div> <div style="font-size: xx-large; font-family: 黑体,serif; "> eventlet </div> <div style="font-size: xx-large; font-family: 黑体,serif; "> asyncio <span style="font-size: medium">(框架可以直接支持async 定义的携程函数作为任务,celery不支持) </span> </div> <div style=" font-size: xx-large; font-family: 黑体,serif; "> single_thread </div> <br> <div style=" font-size: 18px; font-family: 黑体,serif; ">除此之外，直接内置方便的支持 多进程multiprocess 叠加 以上5种并发，多进程和以上细粒度并发是叠加的而不是平行的二选一关系。</div> <br><br> ``` 总结一下那就是此框架可以适应所有编程场景，无论是io密集 cpu密集 还是cpu io双密集场景，框架能非常简便的应对任意场景。 框架的 单线程 多线程 gevent eventlet asyncio 多进程 这些并发模型，囊括了目前python界所有的并发方式。 框架能自动实现 单线程 ，多线程， gevent ， eventlet ，asyncio ，多进程 并发 ， 多进程 + 单线程 ，多进程 + 多线程，多进程 + gevent, 多进程 + eventlet ，多进程 + asyncio 的组合并发 这么多并发方式能够满足任意编程场景。 ``` 以下两种方式，都是10线程加python内存queue方式运行f函数，有了此框架，用户无需代码手写手动操作线程 协程 进程并发。 [](https://imgtu.com/i/T69zJP) <br> [](https://imgtu.com/i/T6CPsg) ### 1.2.2 框架支持20种中间件 框架支持 rabbitmq redis python自带的queue.Queue sqlite sqlachemy kafka pulsar mongodb 直接socket 等作为消息中间件。 同时此框架也支持操作 kombu 库作为中间件,所以此框架能够支持的中间件类型只会比celery更多。 框架支持的中间件种类大全和选型见文档3.1章节的介绍: [3.1 各种中间件选择的场景和优势](https://funboost.readthedocs.io/zh/latest/articles/c3.html#id2) ### 1.2.3 框架对任务支持20种控制功能。 <pre> python通用分布式函数调度框架。适用场景范围广泛， 框架非常适合io密集型(框架支持对函数自动使用 thread gevent eventlet asyncio 并发) 框架非常适合cpu密集型(框架能够在线程 协程基础上 叠加