python自动化脚本合集

密钥：34.92.195.237 1!2@3#QWEasdzxc 数据库：#4$QWERasdfzxcv ## 内容格式 列表：http://127.0.0.1:5000/ 对应模板：index.html 分页：http://127.0.0.1:5000/?&p=2 对应页数 内容：http://127.0.0.1:5000/detail?id=74 detail.html 列表：http://127.0.0.1:5000/list?p=74&t=1 list.html ## 启动参数 ``` C:\Users\hbq\Desktop\XuhssFlask\venv\Scripts\python.exe C:/Users/hbq/Desktop/XuhssFlask/课程网站源码/ppt12/12.3/manager.py runjob -m movie -a list ``` ``` C:\Users\hbq\Desktop\XuhssFlask\venv\Scripts\python.exe C:/Users/hbq/Desktop/XuhssFlask/课程网站源码/ppt12/12.3/manager.py runserver ``` ## 已完成任务 - 即将上映功能添加列表的添加 本网站内容收集于互联网，MP4电影 排在下面 list页签超出高度判断处理 标签：tag 全称：detail_name 导演：director 地区：region 年份：year 语言：language 时长:duration 下载全部：download_html 评分：score 字段添加 菜单居中 菜单链接调整 详情页右侧列表数据添加 首页加载全部网站内容 爬取增加的字段 设计支持斗罗大陆的再次采集（根据标题名称判断唯一值） 将增加的字段显示到页面 自适应宽度添加 网站图片和提示文字的修改 提示文字及跳转链接修改 主页图片制作 面包屑导航调整到正确 移动端一直刷问题排查 图床https 上线 提交百度sitemap 服务器安装selenium 搜索功能添加 爬取所有数据， 服务器创建定时任务（selinium崩溃） #运行一次 中断 再运行一次 - 上传数据库 爬取电影天堂 ## 生成数据库 ``` flask-sqlacodegen "mysql://root:123456@127.0.0.1/movie_cat" --tables course --outfile "C:/Users/hbq/Desktop/XuhssFlask/课程网站源码/ppt12/course/common/models/course.py" --flask ``` ## 服务器起爬虫 启动服务 ``` service crond start chkconfig crond on #开机自动启动 ``` 1.查看系统时间 ``` date ``` 2.更改系统时间时区 ``` timedatectl set-timezone Asia/Shanghai ``` 3.添加定时任务 ``` crontab -e ``` ``` */3 * * * * { . /home/www/xuhss/bin/activate && export ops_config=production && cd /home/www/12.3 && python3 manager.py runjob -m movie -a all ;} >> /tmp/index.`date +\%Y_\%m_\%d`.txt ``` ``` 0 6 * * * { . /home/www/xuhss/bin/activate && export ops_config=production && cd /home/www/12.3 && python3 manager.py runjob -m movie -a all ;} >> /tmp/index.`date +\%Y_\%m_\%d`.txt ``` ``` 0 9 * * * { . /home/www/xuhss/bin/activate && export ops_config=production && cd /home/www/12.3 && python3 manager.py runjob -m dytt8 -a all ;} >> /tmp/index.`date +\%Y_\%m_\%d`.txt ``` ## 卸载chrome(96版本可以) 1.检查安装版本信息 ``` rpm -qa |grep -i chrome ``` 2.结果显示如下： ``` [root@localhost google]# rpm -qa |grep -i chrome google-chrome-stable-71.0.3578.98-1.x86_64 ``` 3.进入安装包所在的目录 ``` cd /usr/bin/ ``` 4.执行卸载命令 ``` rpm -e --nodeps google-chrome-stable-71.0.3578.98-1.x86_64 ``` ## windows远程链接Linux数据库 local_setting.py修改链接的数据 ``` SQLALCHEMY_DATABASE_URI = "mysql://root:#4$QWERasdfzxcv@34.96.140.100/movie_cat" ``` ## http配置 ``` server { listen 80 default_server; server_name c.xuhss.com; location /static { alias /home/www/course/static/; } location / { try_files $uri @yourapplication; } location @yourapplication { include uwsgi_params; uwsgi_pass unix:/home/www/logs/order.sock; uwsgi_read_timeout 1800; uwsgi_send_timeout 300; } } ```