微信公众号爬虫.zip

# wechat-gongzhonghao-crawler(微信公众号爬虫)  这个项目是通过pywinauto控制windows(win10)上的微信PC客户端来实现公众号文章的抓取。代码分成server和client两部分。server接收client抓取的微信公众号文章，并且保存到数据库。另外server支持简单的搜索和导出功能。client通过pywinauto实现微信公众号文章的抓取。 ## 安装和部署 ### Server的安装 Server由Java实现，理论上可以部署到Client可以访问的任何服务器上，这里假设Server和Client都安装在一台windows 10的机器上。 #### 安装mysql 5.7 用户可以在[这里](./tools/mysql-installer-community-5.7.33.0.msi)下载mysql，也可以去官网下载，但是请注意：目前只支持5.X版本的mysql。下面介绍在win10上安装的过程。 ##### 安装 执行下载msi的安装文件，在"Choosing a Setup Type"里选择"Server only"。 然后点击next安装。安装完了需要配置。 ##### mysql配置 "Type and Networking"，可以选择"Development Computer"，如果机器的资源比较丰富，也可以选择"Server Computer"。 "Accounts and Roles"设置root密码。 "Windows Service"使用默认设置。 ##### 修改utf8编码 找到mysql服务的配置文件地址，可以在搜索栏输入"服务"，然后找到mysql服务，右键点击属性，找到mysql配置文件的位置，如下图所示：  图中显示配置文件的位置为"C:\ProgramData\MySQL\MySQL Server 5.7\my.ini"，修改这个文件，加入： ``` [client] default-character-set=utf8mb4 [mysql] default-character-set=utf8mb4 [mysqld] init-connect='SET NAMES utf8mb4' collation_server=utf8mb4_unicode_ci character_set_server=utf8mb4 character-set-server=utf8mb4 ``` 注意：我们需要找到my.ini文件下面的\[client\]，然后把default-character-set=utf8mb4加到它的下面。类似的，在\[mysql\]和\[mysqld\]下面加入那些内容。 注意：不能直接把上面的文本复制到mysql.ini文件。ini文件是用"\[client\]"分成不同的部分的。 修改后重启服务，如下图所示：  可以用下面的sql命令检查配置是否正确： mysql> SHOW GLOBAL VARIABLES WHERE Variable_name LIKE 'character\_set\_%' OR Variable_name LIKE 'collation%'; 结果应该是： ``` +--------------------------+--------------------+ | Variable_name | Value | +--------------------------+--------------------+ | character_set_client | utf8mb4 | | character_set_connection | utf8mb4 | | character_set_database | utf8mb4 | | character_set_filesystem | binary | | character_set_results | utf8mb4 | | character_set_server | utf8mb4 | | character_set_system | utf8 | | collation_connection | utf8mb4_unicode_ci | | collation_database | utf8mb4_unicode_ci | | collation_server | utf8mb4_unicode_ci | +--------------------------+--------------------+ 10 rows in set (0.00 sec) ``` ##### 建表 在开始菜单寻找"Mysql 5.7 Command Line Client - Unicode"，点击后命令行执行 mysql -u root -p，输入root密码后执行下面的命令： ``` # run as root CREATE DATABASE `wechat`; CREATE USER 'wechat'@'localhost' IDENTIFIED BY 'mypass'; GRANT ALL PRIVILEGES ON wechat.* TO 'wechat'@'localhost'; FLUSH PRIVILEGES; ``` 如果需要，也可以修改wechat的密码为其它值，但是后面的配置文件也需要设置成对应的密码。 然后exit退出，然后用wechat账号重新登录：mysql -u wechat -p，并创建表： ``` use wechat; CREATE TABLE `webpage` ( `id` int(11) NOT NULL AUTO_INCREMENT, `url` varchar(512) NOT NULL, `title` varchar(1024) NOT NULL, `pub_name` varchar(128) NOT NULL, `pub_time` datetime DEFAULT NULL, `html` mediumblob, `content` mediumtext, `last_update` datetime DEFAULT NULL, `crawl_wechat_id` varchar(128) DEFAULT NULL, PRIMARY KEY (`id`), UNIQUE KEY `url` (`url`), KEY `last_update` (`last_update`), KEY `pub_name` (`pub_name`), KEY `crawl_wechat_id` (`crawl_wechat_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; CREATE TABLE `state` ( `id` int NOT NULL, `url` varchar(512) NOT NULL, `pub_name` varchar(128) NOT NULL, `title` varchar(1024) NOT NULL, `crawl_state` tinyint NOT NULL, # 1: 未抓取网页, 0: 抓取成功, 2: 失败1次 3: 失败2次,... `counter_state` tinyint NOT NULL, # 1: 未更新计数, 0: 更新成功, 3: 失败1次 .... `first_add` datetime NOT NULL, `last_update` datetime NOT NULL, `sync_page` tinyint NOT NULL, # 0 未同步，1已同步 `sync_counter` tinyint NOT NULL, PRIMARY KEY (`id`), KEY `pub_name` (`pub_name`), KEY `crawl_state` (`crawl_state`), KEY `counter_state` (`counter_state`), KEY `sync_page` (`sync_page`), KEY `sync_counter` (`sync_counter`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; CREATE TABLE `heartbeat` ( `crawl_wechat_id` varchar(128) NOT NULL, `activity_type` varchar(256) NOT NULL, `last_update` datetime NOT NULL, PRIMARY KEY (`crawl_wechat_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; CREATE TABLE `debuginfo` ( `crawl_wechat_id` varchar(128) NOT NULL, `content` MEDIUMTEXT, PRIMARY KEY (`crawl_wechat_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; ``` 阅读数的表： ``` CREATE TABLE `counter` ( `id` int(11) NOT NULL, `read_count` int DEFAULT -1, `last_update` datetime NOT NULL, `crawl_wechat_id` varchar(128) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; ``` 如果用户从v1.0升级到v1.1，则只需要新增counter表就行。 升级到v1.2： ``` ALTER TABLE `counter` ADD COLUMN `star_count` int DEFAULT -1, ADD COLUMN `share_count` int DEFAULT -1; ``` 如果用户从v1.1升级到v1.2，只需要执行上面的命令就行。 #### 安装JDK并启动服务 用户可以在[这里](./tools/jdk-8u271-windows-x64.exe)下载JDK，或者根据自己的机器选择其它版本的JDK。安装后需要设置环境变量，确保可以通过cmd运行Java。 jdk的安装使用默认选项就可以。启动命令行，输入java确认安装成功。如果找不到请设置PATH环境变量，具体可以上网搜索。 在[release](https://github.com/fancyerii/wechat-gongzhonghao-crawler/releases)下载最新版本的wechat-crawler-server-...-jar-with-dependencies.jar。把这个jar包放到某个文件夹下，然后在这个文件夹下创建一个conf的目录。在conf下新建一个dbConf.properties配置文件，然后修改其内容： ``` MYSQL_DRIVER=org.gjt.mm.mysql.Driver MYSQL_URL=jdbc:mysql://localhost:3306/${db} MYSQL_USER=wechat MYSQL_PASS=mypass ``` 主要是修改密码。 然后在命令行执行： ``` java -cp wechat-crawler-server-{VERSION}-jar-with-dependencies.jar com.github.fancyerii.wechatcrawler.server.service.WechatCrawlerServer ``` 请修改{VERSION}为实际文件的值。 ### Client的安装 #### 安装和登录微信 请下载的[微信安装程序](./tools/WeChatSetup-3.1.0.exe)安装，安装完成后参考[这篇文章](https://jingyan.baidu.com/article/656db9184040b5a380249c66.html)禁止微信自动升级，然后扫码登录。请读者使用3.1版本的微信客户端，因为版本升级或者变化可能导致代码无法正常运行。 #### 系统设置 因为爬虫的工作原理是控制微信，所以需要去掉windows的自动锁屏功能。具体方法可以参考[这篇文章](https://jingyan.baidu.com/article/91f5db1b00c5b31c7f05e3cb.html)。 #### 安装tesseract v1.1新增，如果需要抓取阅读数需要安装它。安装方法参考[这里](https://fancyerii.github.io/2021/05/25/pywinauto-wechat-crawler-3/#%E5%AE%89%E8%A3%85windows%E7%89%88%E6%9C%AC%E7%9A%84tesseract)，请记得确认安装的路径是“C:\Program Files\Tesseract-OCR\tesseract”，目前的代码还不能配置这个路径。 #### 设置客户端 首先去[release](https://github.com