Python爬虫Scrapy框架使用

文档 原理：http://www.runoob.com/w3cnote/scrapy-detail.html 细节：http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/overview.html xpath：http://www.w3school.com.cn/xpath/index.asp 制作爬虫 安装scrapy环境： pip install Scrapy 新建项目（命令行：scrapy startproject xxx）：新建一个爬虫项目 明确目标（编写items.py）：明确你想要抓取的目标 制作爬虫（spiders/xxspider.py）：制作爬虫开始爬取网页 存储内容（pipelines.py）：设计管道存储爬取内容 新建项目 scrapy startproject mySpider ...

Python代码如何编译加密

仅可加密.py结尾的python文件。 由于windows版本执行加密源码的命令会存在一定的问题，所以以下场景都是在linux环境上做的。 windows上执行源码加密出现的问题： 1、无法加密__init__.py文件，如果要加密会报错。 2、无法加密django的数据迁移文件，即migrations目录下的0***_initial.py等 3、批量加密目录下的文件时默认输出是无序的（不是按照原目录结构方式输出）。 setup.py文件内容 import os # 获取当前文件父目录下的子目录 src_path = [] path = os.path.dirname(os.path.abspath(__file__)) for p in os.listdir(path): p_inner = os.path.join(path, p) if os.path.isdir(p_inner): src_path.append(p_inner) # 递归获取src_path里每个目录里的要编译的py文件 py_files = [os.path.join

日志框架总结JUL、Log4j、Log4j2、Logback以及门面技术

日志框架与日志门面的区别 日志框架技术 JUL 使用 Log4j 组件 使用 Logback 由Log4j之父做的另一个开源项目，业界中称作logj后浪，一个可靠、同样且灵活的java日志框架。 Logback组件 Logback配置 Logback输出格式 使用 Log4j2 特征 使用 日志门面技术 JCL 使用 SLF4j 使用

SpringMVC接收请求参数区别.docx

SpringMVC接收请求参数区别