基于微博用户信息数据的分布式爬虫所做的毕业设计有一小部分简单的数据分析这个也是为了纪念大学四年里面包括了源代码论.zip资源-CSDN文库

共118个文件

docx：50个

py：22个

sample：14个

版权申诉

174 浏览量 2024-11-25 10:41:46 上传评论收藏 202.26MB ZIP 举报

资源推荐

资源详情

资源评论

收起资源包目录

基于微博用户信息数据的分布式爬虫所做的毕业设计有一小部分简单的数据分析这个也是为了纪念大学四年里面包括了源代码论.zip （118个子文件）

src\scrapy.cfg 279B

毕业论文终稿.doc 6.36MB

论文改一.docx 5.79MB

论文改二.docx 5.7MB

论文二稿\第五章\第五章测试.docx 1.75MB

论文二稿\第六章\6.2_数据分析.docx 982KB

论文初稿\第五章\5.2_数据分析.docx 982KB

论文二稿\第四章\4.3_信息过滤规则-正则表达式.docx 885KB

论文初稿\第二章\2.6_信息过滤规则-正则表达式.docx 885KB

论文二稿\第四章\4.1_微博移动版web分析.docx 861KB

论文初稿\第二章\2.4_微博移动版web分析.docx 861KB

论文二稿\第六章\6.1_数据模型.docx 822KB

论文初稿\第五章\5.1_数据模型.docx 822KB

论文二稿\第二章\2.3_rebots协议.docx 487KB

论文初稿\第二章\2.3_rebots协议.docx 487KB

论文二稿\第二章\2.4_爬虫搜索策略-防止环路的出现.docx 242KB

论文初稿\第四章\4.1_爬虫搜索策略-防止环路的出现.docx 242KB

论文初稿\第三章\3.2_Scrapy框架.docx 241KB

论文二稿\第三章\3.3_Scrapy框架.docx 241KB

论文二稿\第三章\3.4_Srcapy+redis架构.docx 239KB

论文初稿\第三章\3.3_Srcapy+redis架构.docx 239KB

论文二稿\第三章\3.2.1_非关系型数据库mongodb及其搭建.docx 190KB

论文初稿\第三章\3.1.1_非关系型数据库mongodb及其搭建.docx 190KB

论文二稿\第四章\4.5_反爬技术.docx 183KB

论文初稿\第四章\4.3_反爬技术.docx 182KB

论文二稿\第三章\3.2.4_redis简介及其搭建.docx 166KB

论文初稿\第三章\3.1.4_redis简介及其搭建.docx 166KB

论文二稿\第二章\2.1_爬虫的分类与作用.docx 91KB

论文初稿\第二章\2.1_爬虫的分类与作用.docx 91KB

论文初稿\第二章\2.5_User-agent伪装.docx 56KB

论文二稿\第四章\4.2_User-agent伪装.docx 56KB

论文二稿\草稿.docx 54KB

论文初稿\第二章\2.2_http协议.docx 51KB

论文二稿\第二章\2.2_http协议.docx 51KB

论文二稿\第四章\4.4_查重.docx 36KB

论文初稿\第四章\4.2_查重.docx 36KB

论文二稿\第四章\4.6_Cookie池.docx 22KB

论文初稿\第四章\4.4_Cookie池.docx 22KB

开题答辩报告\开题报告1稿.docx 22KB

论文二稿\第一章\论文初稿_绪论.docx 21KB

开题答辩报告\开题报告2稿.docx 20KB

论文二稿\论文初稿_目录.docx 18KB

论文初稿\第一章\论文初稿_绪论.docx 18KB

论文二稿\第七章\第7章结论与展望.docx 18KB

论文初稿\论文初稿_目录.docx 17KB

论文初稿\论文初稿_参考文献.docx 17KB

论文二稿\论文初稿_参考文献.docx 17KB

论文二稿\摘要与关键字.docx 16KB

论文二稿\致谢.docx 15KB

论文二稿\第三章\3.1_需求.docx 15KB

论文二稿\题目.docx 13KB

论文初稿\第六章\论文初稿_总结与展望.docx 0B

src\chromedriver.exe 6.06MB

src\Sina_spider3\chromedriver.exe 0B

.git\config 335B

.git\description 73B

.git\HEAD 23B

.git\index 11KB

.git\info\exclude 240B

.git\logs\HEAD 223B

.git\logs\refs\heads\master 223B

.git\logs\refs\remotes\origin\HEAD 223B

.git\packed-refs 114B

.git\refs\heads\master 41B

.git\refs\remotes\origin\HEAD 32B

.gitignore 1KB

src\.gitignore 1KB

.git\objects\pack\pack-1ca4965bd443bd9e7222b61f08bc1b31c08e5e4a.idx 4KB

LICENSE 1KB

README.md 420B

.git\objects\pack\pack-1ca4965bd443bd9e7222b61f08bc1b31c08e5e4a.pack 94.76MB

宋少忠_毕业论文终稿查重版陈巍瑜_大雅详细报告.pdf 415KB

毕设答辩pt.pptx 2.9MB

src\Sina_spider3\cookies.py 15KB

src\Sina_spider3\spiders\sinaSpider.py 9KB

src\Sina_spider3\scrapy_redis\tests.py 9KB

src\Sina_spider3\user_agents.py 7KB

src\pipelines.py 7KB

src\Sina_spider3\pipelines.py 7KB

src\Sina_spider3\yumdama.py 6KB

src\Sina_spider3\scrapy_redis\queue.py 5KB

src\Sina_spider3\middleware.py 4KB

src\Sina_spider3\scrapy_redis\scheduler.py 3KB

src\Sina_spider3\weiboID.py 3KB

src\Sina_spider3\scrapy_redis\spiders.py 2KB

src\Sina_spider3\scrapy_redis\dupefilter.py 1KB

src\Sina_spider3\items.py 1KB

src\Sina_spider3\scrapy_redis\pipelines.py 1020B

src\Sina_spider3\settings.py 924B

src\Sina_spider3\scrapy_redis\connection.py 904B

src\mysql.py 721B

src\Sina_spider3\spiders\__init__.py 165B

src\launch.py 82B

src\Sina_spider3\scrapy_redis\__init__.py 0B

src\Sina_spider3\__init__.py 0B

毕业设计微博json数据.rar 73.16MB

.git\objects\pack\pack-1ca4965bd443bd9e7222b61f08bc1b31c08e5e4a.rev 484B

.git\hooks\pre-rebase.sample 5KB

.git\hooks\fsmonitor-watchman.sample 5KB

.git\hooks\update.sample 4KB

共 118 条

# Distributed_Web_Spider （本科毕业设计）基于网络爬虫的数据分析系统的实现: 用 python2.7+Scrapy-Redis 分布式架构下的网络爬虫,用 json 编码+Cookies 池+搜索策略BFS+破解验证码+布隆过滤器+对抗AJAX, Redis 放于内存中去重队列并且实现断点继爬而 Mongodb 做磁盘持久化,数据采集微博移动版 web 用户信息关系数据等等共 400w 条数据.

评论收藏

内容反馈

版权申诉