新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频

* [功能](#功能) * [输出](#输出) * [实例](#实例) * [运行环境](#运行环境) * [使用说明](#使用说明) * [下载脚本](#1下载脚本) * [安装依赖](#2安装依赖) * [程序设置](#3程序设置) * [设置数据库（可选）](#4设置数据库可选) * [运行脚本](#5运行脚本) * [按需求修改脚本（可选）](#6按需求修改脚本可选) * [定期自动爬取微博（可选）](#7定期自动爬取微博可选) * [使用docker](#8使用docker) * [如何获取user_id](#如何获取user_id) * [添加cookie与不添加cookie的区别（可选）](#添加cookie与不添加cookie的区别可选) * [如何获取cookie（可选）](#如何获取cookie可选) * [如何检测cookie是否有效（可选）](#如何检测cookie是否有效可选) ## 功能 连续爬取**一个**或**多个**新浪微博用户（如[Dear-迪丽热巴](https://weibo.cn/u/1669879400)、[郭碧婷](https://weibo.cn/u/1729370543)）的数据，并将结果信息写入文件。写入信息几乎包括了用户微博的所有数据，主要有**用户信息**和**微博信息**两大类，前者包含用户昵称、关注数、粉丝数、微博数等等；后者包含微博正文、发布时间、发布工具、评论数等等，因为内容太多，这里不再赘述，详细内容见[输出](#输出)部分。具体的写入文件类型如下： * 写入**csv文件**（默认） * 写入**json文件**（可选） * 写入**MySQL数据库**（可选） * 写入**MongoDB数据库**（可选） * 写入**SQLite数据库**（可选） * 下载用户**原创**微博中的原始**图片**（可选） * 下载用户**转发**微博中的原始**图片**（可选） * 下载用户**原创**微博中的**视频**（可选） * 下载用户**转发**微博中的**视频**（可选） * 下载用户**原创**微博**Live Photo**中的**视频**（可选） * 下载用户**转发**微博**Live Photo**中的**视频**（可选） * 下载用户**原创和转发**微博下的一级评论（可选） * 下载用户**原创和转发**微博下的转发（可选） 如果你只对用户信息感兴趣，而不需要爬用户的微博，也可以通过设置实现只爬取微博用户信息的功能。程序也可以实现**爬取结果自动更新**，即：现在爬取了目标用户的微博，几天之后，目标用户可能又发新微博了。通过设置，可以实现每隔几天**增量爬取**用户这几天发的新微博。具体方法见[定期自动爬取微博](#7定期自动爬取微博可选)。 ## 输出 **用户信息** * 用户id：微博用户id，如"1669879400" * 用户昵称：微博用户昵称，如"Dear-迪丽热巴" * 性别：微博用户性别 * 生日：用户出生日期 * 所在地：用户所在地 * 教育经历：用户上学时学校的名字 * 公司：用户所属公司名字 * 阳光信用：用户的阳光信用 * 微博注册时间：用户微博注册日期 * 微博数：用户的全部微博数（转发微博+原创微博） * 粉丝数：用户的粉丝数 * 关注数：用户关注的微博数量 * 简介：用户简介 * 主页地址：微博移动版主页url，如<https://m.weibo.cn/u/1669879400?uid=1669879400&luicode=10000011&lfid=1005051669879400> * 头像url：用户头像url * 高清头像url：用户高清头像url * 微博等级：用户微博等级 * 会员等级：微博会员用户等级，普通用户该等级为0 * 是否认证：用户是否认证，为布尔类型 * 认证类型：用户认证类型，如个人认证、企业认证、政府认证等 * 认证信息：为认证用户特有，用户信息栏显示的认证信息 *** **微博信息** * 微博id：微博的id，为一串数字形式 * 微博bid：微博的bid，与[cookie版](https://github.com/dataabc/weiboSpider)中的微博id是同一个值 * 微博内容：微博正文 * 头条文章url：微博中头条文章的url，如果微博中存在头条文章，就获取该头条文章的url，否则该值为'' * 原始图片url：原创微博图片和转发微博转发理由中图片的url，若某条微博存在多张图片，则每个url以英文逗号分隔，若没有图片则值为'' * 视频url: 微博中的视频url和Live Photo中的视频url，若某条微博存在多个视频，则每个url以英文分号分隔，若没有视频则值为'' * 微博发布位置：位置微博中的发布位置 * 微博发布时间：微博发布时的时间，精确到天 * 点赞数：微博被赞的数量 * 转发数：微博被转发的数量 * 评论数：微博被评论的数量 * 微博发布工具：微博的发布工具，如iPhone客户端、HUAWEI Mate 20 Pro等，若没有则值为'' * 话题：微博话题，即两个#中的内容，若存在多个话题，每个url以英文逗号分隔，若没有则值为'' * @用户：微博@的用户，若存在多个@用户，每个url以英文逗号分隔，若没有则值为'' * 原始微博：为转发微博所特有，是转发微博中那条被转发的微博，存储为字典形式，包含了上述微博信息中的所有内容，如微博id、微博内容等等 * 结果文件：保存在当前目录weibo文件夹下以用户昵称为名的文件夹里，名字为"user_id.csv"形式 * 微博图片：微博中的图片，保存在以用户昵称为名的文件夹下的img文件夹里 * 微博视频：微博中的视频，保存在以用户昵称为名的文件夹下的video文件夹里 ## 实例 以爬取迪丽热巴的微博为例，我们需要修改**config.json**文件，文件内容如下： ``` { "user_id_list": ["1669879400"], "only_crawl_original": 1, "since_date": "1900-01-01", "query_list": [], "write_mode": ["csv"], "original_pic_download": 1, "retweet_pic_download": 0, "original_video_download": 1, "retweet_video_download": 0, "cookie": "your cookie" } ``` 对于上述参数的含义以及取值范围，这里仅作简单介绍，详细信息见[程序设置](#3程序设置)。 >**user_id_list**代表我们要爬取的微博用户的user_id，可以是一个或多个，也可以是文件路径，微博用户Dear-迪丽热巴的user_id为1669879400，具体如何获取user_id见[如何获取user_id](#如何获取user_id)； **only_crawl_original**的值为1代表爬取全部原创微博，值为0代表爬取全部微博（原创+转发）； **since_date**代表我们要爬取since_date日期之后发布的微博，因为我要爬迪丽热巴的全部原创微博，所以since_date设置了一个非常早的值； query_list代表要爬取的微博关键词，为空（[]）则爬取全部； **write_mode**代表结果文件的保存类型，我想要把结果写入csv文件和json文件，所以它的值为["csv", "json"]，如果你想写入数据库，具体设置见[设置数据库](#4设置数据库可选)； **original_pic_download**值为1代表下载原创微博中的图片，值为0代表不下载； **retweet_pic_download**值为1代表下载转发微博中的图片，值为0代表不下载； **original_video_download**值为1代表下载原创微博中的视频，值为0代表不下载； **retweet_video_download**值为1代表下载转发微博中的视频，值为0代表不下载； **cookie**是可选参数，可填可不填，具体区别见[添加cookie与不添加cookie的区别](#添加cookie与不添加cookie的区别可选)。 配置完成后运行程序： ```bash python weibo.py ``` 程序会自动生成一个weibo文件夹，我们以后爬取的所有微博都被存储在weibo文件夹里。然后程序在该文件夹下生成一个名为"Dear-迪丽热巴"的文件夹，迪丽热巴的所有微博爬取结果都在这里。"Dear-迪丽热巴"文件夹里包含一个csv文件、一个img文件夹和一个video文件夹，img文件夹用来存储下载到的图片，video文件夹用来存储下载到的视频。如果你设置了保存数据库功能，这些信息也会保存在数�