基于Java的Spring与Spring Boot框架知识体系设计源码

最近重构一个Scrapy爬虫项目，需要将300个spider的调度任务在jenkins中添加。这已经超过了手动一个一个添加任务的极限，是时候要借助工具批量添加了。 Jenkins API Jenkins提供了一套远端访问的API，目前有3种方式： XML JSON with JSONP support Python 远程API可以执行以下这些功能： 创建/复制 job 触发一个新的构建 查询Jenkins的运行状态 Jenkins Job模板 1，创建job 本文的思路是先在网页上手动创建一个Job，然后将Job的配置文件拷贝至本地，制作成模板。 image 2，配置job 模板job主要有两块内容： 1，【构建触发器】定时构建 image 【构建】执行shell image 其中HOST_TEST，PROJECT_TEST是在jenkins系统配置中设置的环境变量，目的是为了更换scrapyd服务器时更加灵活。 image 3，制作模板 进入到jenkins的安装目录（默认为/var/lib/jenkins/)，在/var/lib/jenkins/jobs/【采集】template目录下找到config.xml文件，拷贝至本地 <?xml version="1.1" encoding="UTF-8"?><project> <actions/> <description/> <keepDependencies>false</keepDependencies> <properties/> <scm class="hudson.scm.NullSCM"/> <canRoam>true</canRoam> <disabled>false</disabled> <blockBuildWhenDownstreamBuilding>false</blockBuildWhenDownstreamBuilding> <blockBuildWhenUpstreamBuilding>false</blockBuildWhenUpstreamBuilding> <triggers> <hudson.triggers.TimerTrigger> <spec>0 12 * * *</spec> </hudson.triggers.TimerTrigger> </triggers> <concurrentBuild>false</concurrentBuild> <builders> <hudson.tasks.Shell> <command>curl ${HOST_TEST}/schedule.json -d project=${PROJECT_TEST} -d spider='tt_test_spider'</command> </hudson.tasks.Shell> </builders> <publishers/> <buildWrappers/> </project> 批量创建的job主要差异在spider名称和crontab定时任务的设置不同，将这两处模板化： config.xml image 该文件中有4个变量要配置： crontab_value spider_name HOST_TEMPLATE PROJECT_TEMPLATE Python-Jenkins脚本批量创建job 1，安装 pip install python-jenkins 2，脚本 import jenkins template_xml="config.xml" #与网页版Jenkins登录的账号、密码一致 server = jenkins.Jenkins('http://yourip:8080/', username='admin', password='admin') job_list = { "test1_spider": "30 2 * * *", "test2_spider": "30 3 * * *", "test3_spider": "55 11,23 * * *", } classify = '采集' host = 'http://0.0.0.0:6800/' project = 'test_spider' for spider_name, crontab in job_list.items(): with open(template_xml) as f: profile = f.read() JOB_CONFIG=profile.replace("crontab_value", crontab)\ .replace("spider_name",spider_name)\ .replace("HOST_TEMPLATE", host)\ .replace("PROJECT_TEMPLATE", project) print(JOB_CONFIG[-200:]) view_name = "【{}】{}_".format(classify, type) server.create_job(view_name+name, JOB_CONFIG) # del_job=server.delete_job(view_name+name) # print(del_job) 3，结果 image 搞定！分分钟创建了几百个job。