# BiLiBiLi
#### 介绍
b站视频详情数据抓取,自动打包并发送到指定邮箱(单个或者群发)
#### 软件架构
- 定时任务:采用win自带或者time.sleep()
- 采用python自动化测试(selenium),获取b站动态生成源码,
- 采用selenium 和 bs4 对page_source进行规则匹配清洗。
- 清洗完数据写入json和Excel文件(有json数据转换Excel函数)--按照日期保存;
- 按日期将文件夹压缩zip
- 将压缩后的zip发送给指定的 邮箱或者邮箱群组
#### 安装教程
1. 更新浏览器版本(Chrome, Firefox, Edge等,方便找对应的webDriver); 自行百度(浏览器名 webdriver),第一个推介点进去搜索对应的 浏览器版本下载(相同最后,没有尽量选择相近)
2. 安装python,和pip
3. `pip install -r requirments.txt`,安装依赖,如果安装失败,就手敲吧,一般问题不大
4. 按照使用说明更改必要参数
#### 使用说明
1. run.py:
- 修改up_user_name = "立体设计师峥嵘" # up主名: 更改你自己要抓取的up主名称
- 发送邮件参数
```python
mail_cfg = {
# 邮箱登录设置,使用SMTP登录
'server_username': "xxx@qq.com", # '你的邮箱'
'server_pwd': "xxxxx", # QQ和163邮箱需要:'16位随机码', QQ企业邮箱你的登录密码
# 邮件内容设置
'msg_to': ['xxx@qq.com', 'xxx@163.com'], # 可以在此添加收件人单个,多个群发
'msg_subject': u'日期:' + num_ct,
'msg_date': email.utils.formatdate(),
'msg_content': u"正文: BiLiBiLi视屏详情抓取--数据文件, 抓取时间:" + timestr,
# 附件
'attach_file': target
}
```
2. 如果只是修改上面说明参数,运行应该问题不大,关键就是webdriver的配置:下载好后不用添加环境变量,只要记录对应位置,代码里面声明就好;邮箱发送功能记得开启SMTP/POP
3. 如果还是有问题,留言评论好了
#### 参与贡献
1. Fork 本仓库
2. 新建 Feat_xxx 分支
3. 提交代码
4. 新建 Pull Request
#### 特技
1. 使用 Readme\_XXX.md 来支持不同的语言,例如 Readme\_en.md, Readme\_zh.md
2. Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3. 你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4. [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目,是综合评定出的优秀开源项目
5. Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6. Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)
没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
收起资源包目录
BiLiBiLi_Spider_project.zip (10个子文件)
bi-li-bi-li
emailManager
__init__.py 27B
email_manager.py 5KB
biliSpider
bi_spider.py 9KB
__init__.py 0B
zipManager
zip_manager.py 2KB
__init__.py 25B
run.py 3KB
WebDriver.zip 10.84MB
requirements.txt 411B
README.md 3KB
共 10 条
- 1
资源评论
yblackd
- 粉丝: 71
- 资源: 8
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功