# weibo-topic-spyder
微博超级话题爬虫，微博词频统计+情感分析+简单分类
新增微博普通话题爬取，其中讨论和阅读数量的爬取待完善
爬取数据展示
### 使用方法
爬虫主文件：
微博普通话题：normal-topic-spyder.py
微博超级话题：super-topic-spyder.py
在爬虫主文件中的主函数中输入账号、密码和想要爬取的超话名称即可开始爬取，需要提前安装所需的python库和chromedriver驱动
爬取结束后数据会自动保存在当前目录下的excel文件中，每行为一个微博数据。
提示：普通的话题爬取需要添加#，例如#话题#，超级话题无需添加；一般而言，在微博中超级话题前带有钻石标志，普通话题为#话题#的格式
### 超级话题爬虫
使用了selenium模拟浏览器登陆进行爬取，具体话题爬取数量受微博限制，目前单个话题最大获取微博数量为8000条左右，选择了使用手机网页模式爬取，以获得最佳的爬取效果。
账号与IP数量对单个超话的爬取帮助不大，就只设置了单账号和ip模式，若需多超话同时爬取可以自行添加。
如需爬取多个超话，可以选择使用cookie登陆，最为方便
### 词频统计
使用了jieba库进行分词，最后对分词结果进行简单统计并且存储到txt中
### 情感分析
调用了百度大脑的api接口，可以自行注册获取key，平台不限调用次数，详细接口见[百度大脑](https://ai.baidu.com/tech/nlp_apply/sentiment_classify)
### 其他
欢迎大家参与和完善：如有其他问题，欢迎提交issue
微博文本的情感分析研究
需积分: 46 89 浏览量
2022-07-06
18:22:18
上传
评论 3
收藏 389.09MB ZIP 举报
微博文本的情感分析研究 （155个子文件） 
emo_model_textcnn_bak11.bin 16.41MB emo_model_textcnn_bak11.bin 16.41MB emo_model_textcnn.bin 16.41MB emo_model_textcnn.bin 16.41MB emo_model_lstm_attention_bak11.bin 16.12MB emo_model_lstm_attention_bak11.bin 16.12MB emo_model_lstm_attention.bin 16.12MB emo_model_lstm_attention.bin 16.12MB config 312B weibo_senti_100k.csv 18.79MB weibo_senti_100k.csv 18.79MB description 73B exclude 240B .gitignore 50B .gitignore 50B .gitignore 50B
train-images-idx3-ubyte.gz 9.45MB t10k-images-idx3-ubyte.gz 1.57MB train-labels-idx1-ubyte.gz 28KB t10k-labels-idx1-ubyte.gz 4KB HEAD 191B HEAD 191B HEAD 32B HEAD 23B pack-bdbb2ced3b7c25cce2807fa1f58539a434c66ee9.idx 4KB emo_class.iml 452B emo_class.iml 452B code.iml 291B index 3KB analyzer.ipynb 956KB analyzer.ipynb 956KB LICENSE 1KB master 191B master 41B README.md 2KB readme.md 1KB readme.md 1KB word2vec_bak.model 50.39MB word2vec_bak.model 50.39MB word2vec.model 33.06MB word2vec.model 33.06MB pack-bdbb2ced3b7c25cce2807fa1f58539a434c66ee9.pack 3.06MB packed-refs 189B
weibo.png 259KB fy.png 222KB seg.png 26KB training.pt 45.32MB test.pt 7.55MB train.py 11KB train.py 11KB super-topic-spyder.py 11KB inference.py 9KB inference.py 9KB normal-topic-spyder.py 8KB liuerda.py 5KB liuerda.py 5KB analyzer.py 3KB analyzer.py 3KB excelSave.py 3KB data_preprocess.py 2KB data_preprocess.py 2KB get_word2vec.py 2KB get_word2vec.py 2KB analysis.py 1KB seg.py 1KB plot.py 499B test11.py 495B test11.py 489B zzz.py 199B zzz.py 199B train.cpython-36.pyc 9KB train.cpython-36.pyc 9KB inference.cpython-38.pyc 8KB inference.cpython-38.pyc 8KB get_word2vec.cpython-38.pyc 2KB get_word2vec.cpython-38.pyc 2KB get_word2vec.cpython-36.pyc 2KB get_word2vec.cpython-36.pyc 2KB excelSave.cpython-38.pyc 2KB excelSave.cpython-36.pyc 2KB data_preprocess.cpython-38.pyc 2KB data_preprocess.cpython-38.pyc 2KB data_preprocess.cpython-36.pyc 2KB data_preprocess.cpython-36.pyc 2KB pre-rebase.sample 5KB fsmonitor-watchman.sample 5KB update.sample 4KB push-to-checkout.sample 3KB pre-commit.sample 2KB prepare-commit-msg.sample 1KB pre-push.sample 1KB commit-msg.sample 896B pre-receive.sample 544B applypatch-msg.sample 478B pre-applypatch.sample 424B pre-merge-commit.sample 416B post-update.sample 189B t10k-images-idx3-ubyte 7.48MB t10k-labels-idx1-ubyte 10KB train-images-idx3-ubyte 44.86MB共 155 条
- 1
- 2
评论0