没有合适的资源?快使用搜索试试~
我知道了~
文库首页
后端
C#
C#博客园多线程蜘蛛模式文章采集器
C#博客园多线程蜘蛛模式文章采集器
采集,多线程
4星
· 超过85%的资源
需积分: 10
156 下载量
152 浏览量
2014-06-24
22:38:38
上传
评论
3
收藏
120KB
RAR
举报
温馨提示
立即下载
C#博客园多线程蜘蛛模式文章采集器,能够自动采集文章保存到本地html,可以正常流量,可以设置线程数量
资源推荐
资源评论
博客园文章多线程离线采集器
浏览:76
采集博客园普通列表、精华列表第一页内容,推荐作者的第一页内容,(可采多页,本版本作了限制)。所有资源采集到本地,可离线阅读,可做模糊查询。 采集时不用写采集规则,但是不影响采集效果。极偶尔的情况,可能会有疏漏。 软件稍加改进,可适用于其他网站。 如有问题,请按软件标题QQ联系本人
基于C#的多线程的网页抓取
浏览:17
4星 · 用户满意度95%
C#编写的spider demo 主要实现多线程的网页抓取及网页内容中URL的提取
博客园整站蜘蛛采集器源码
浏览:176
3星 · 编辑精心推荐
多线程,连接池模式,自动提取正文,蜘蛛模式采集博客园文章到本地,直接为html文档,并且图片内容可以正常阅读,有了这个以后没有网也可以学习博客园的好文章啦~
C#多线程文章采集程序源代码
浏览:76
摘要:C#源码,网络相关,多线程,采集程序 C#多线程新闻采集源代码,通过程序,可实现几乎所有网页的新闻抓龋根据DataSourceID,获取Gather_DataSourceConfig实体类,根据实体类中的网页采集地址url,获取网页源代码str开始进行处理: 第一步:根据DataSourceID,基本配置ID=1(信息列表配置),获取信息列表的详细配置Dataset,写成通用函数
c#多线程抓取网页内容
浏览:9
4星 · 用户满意度95%
在《爬虫/蜘蛛程序的制作(C#语言)》一文中,已经介绍了爬虫程序实现的基本方法,可以说,已经实现了爬虫的功能。只是它存在一个效率问题,下载速度可能很慢。这是两方面的原因造成的: 1. 分析和下载不能同步进行。在《爬虫/蜘蛛程序的制作(C#语言)》中已经介绍了爬虫程序的两个步骤:分析和下载。在单线程的程序中,两者是无法同时进行的。也就是说,分析时会造成网络空闲,分析的时间越长,下载的效率
C#制作多线程处理强化版网络爬虫
浏览:30
上次做了一个帮公司妹子做了爬虫,不是很精致,这次公司项目里要用到,于是有做了一番修改,功能添加了网址图片采集,下载,线程处理界面网址图片下载等。 说说思路:首相获取初始网址的所有内容 在初始网址采集图片 去初始网址采集链接 把采集到的链接放入队列 继续采集图片,然后继续采集链接,无限循环 还是上图片大家看一下, 处理网页内容抓取跟网页网址爬取都做了改进,下面还是大家来看看代码,有不足之处,还请之
由C#编写的多线程异步抓取网页的网络爬虫控制台程序
浏览:49
4星 · 用户满意度95%
描述:由C#编写的多线程异步抓取网页的网络爬虫控制台程序 功能:目前只能提取网络链接,所用的两个记录文件并不需要很大。网页文本、图片、视频和html代码暂时不能抓取,请见谅。 但需要注意,网页的数目是非常庞大的,如下代码理论上大概可以把整个互联网网页链接都抓下来。 但事实上,由于处理器功能和网络条件(主要是网速)限制,一般的家用电脑最多能胜任12个线程左右的抓取任务,抓取速度有限。可以抓取,但
用C#实现蜘蛛/爬虫程序的多线程控制(1)
浏览:123
详细讲述如何用C#实现蜘蛛/爬虫程序的多线程控制
c# 多线程蜘蛛爬虫
浏览:189
4星 · 用户满意度95%
1.CSpider文件夹下是我开始编写前参考的开源代码,结构比较清晰。单线程 2.任务概述是我这次写spider的过程的描述,我做这次spider的目的是完成一项课程设计。 3.整个spider的开发过程为增量式,从最开始的单页搜索url到最后的多线程spider,这在版本规划中又很明显的体现。每个版本都有自己的readme,其中详细叙述了各个版本的不同 4.由于是初学者,我在每个版本中都是边写边
博客园C#文章精华
浏览:86
5星 · 资源好评率100%
这是我从博客园众多博客发表的文章精心整理而来的,牵涉到C#的方方面面,拾遗补缺,相信对大家大有裨益。首先谢谢这些博客,每篇文章我都注明了博客名和出处。
博客园C#文章精华3
浏览:56
这是我从博客园众多博客发表的文章精心整理而来的,牵涉到C#的方方面面,拾遗补缺,相信对大家大有裨益。首先谢谢这些博客,每篇文章我都注明了博客名和出处。
博客园c#文章精华2
浏览:183
这是我从博客园众多博客发表的文章精心整理而来的,牵涉到C#的方方面面,拾遗补缺,相信对大家大有裨益。首先谢谢这些博客,每篇文章我都注明了博客名和出处。
csdn博客园文章查看器
浏览:115
5星 · 资源好评率100%
最近一直都在搞网站抓取方面的开发,闲着无聊逛逛论坛,发现有些帖子还是写的相当不错的,只是一篇一篇的点进去比较麻烦,于是就写了个小软件只是为了方便查看博客园和CSDN上的优秀文章。其实这个还可以拓展的,比如...
文章采集ASP源码,文章采集,自动采集,适合建立小型的文章型自助网站.
浏览:47
4星 · 用户满意度95%
文章采集,自动采集,适合建立小型的文章型自助网站.
一个开源的C#蜘蛛爬虫程序,看了让你很受启发,【修订了多线程更新UI错误】
浏览:193
3星 · 编辑精心推荐
一个开源的C#蜘蛛爬虫程序,看了让你很受启发. 其中涉及了Html标签属性的解析,爬行域名的控制,多线程等关键内容,入门级好教材。修订了原程序中多线程更新UI错误;
多线程采集C#源代码(转)
浏览:100
多线程采集C#源代码(转)多线程采集C#源代码(转)
C# vs2012编写多线程网络爬虫(爬图)
浏览:175
多线程爬取网络图片,直接可以运行!
C#网络抓取源码范例(分析天涯文章)
浏览:137
5星 · 资源好评率100%
过滤天涯社区文章作者,只显示楼主,有源代码
C#网络爬虫程序源码
浏览:72
5星 · 资源好评率100%
网上找的一个C#写的网络爬虫程序源码,支持多线程,上传上来方便自己查看,有需要的朋友可以直接拿去参考,呵呵~~~谢谢作者。
c# 编写网络爬虫 多线程下载
浏览:71
3星 · 编辑精心推荐
Spider_网络爬虫_网络机器人_网络蜘蛛_多线程下载_HTTP_协议
c#自动评论博客园博文
浏览:22
自动输入账号密码,自动点击机器验证,自动进去博文区评论博文,评论过的博文不会二次评论,代码有点乱,不过功能都是实现了的
博客园博客PDF生成器
浏览:160
4星 · 用户满意度95%
博客园博客PDF生成器博客园博客PDF生成器博客园博客PDF生成器博客园博客PDF生成器博客园博客PDF生成器博客园博客PDF生成器博客园博客PDF生成器博客园博客PDF生成器
c# 仿博客园编辑器的插入代码 代码高亮功能
浏览:71
4星 · 用户满意度95%
c# 仿博客园编辑器的插入代码 代码高亮功能 CodeHighlighter ActiproSoftware.CodeHighlighter.Net20
C#多线程程序源码.zip
浏览:31
用vs2010以上打开就可以,多线程。也在博客园中有具体详细解释,搜索 小东北博客园 博客名称 C#winform单线程事例与多线程事例
博客园文章爬取代码
浏览:72
4星 · 用户满意度95%
根据指定的博客园博客的URL,爬取对应的文章,并将文章写入WORD文档中。愿与研究爬取技术的童鞋一起进步。请用Eclipse打开。
博客园博文提取器
浏览:151
5星 · 资源好评率100%
程序通过分析博客园博 客源码来生成一些必要的数据,可能在以后使用当中出现爬取不了的情况,可能是博客园的源码 结构修改了。程序只是用于学习之用,严禁用于非法目的而照成博客园服务器过载。 由于生成PDF的时候...
C#做的WEB文章发布系统
浏览:130
21天学通C#案例.非常好的源码。适合初学者学习。。。。。。。。。。。。
C#(Csharp)多线程HTTP并发请求(HttpWebRequest)采集蜘蛛
浏览:199
4星 · 用户满意度95%
C#(也称Csharp)在多线程下并发执行HTTP请求的实现,采用C#封装HttpWebRequest类开发的多线程并发采集程序源码文档,文档中详细说明了HttpWebRequest并发HTTP请求实现网站采集的方法,经过测试同时并发1000+不是问题,好东西和大家分享哦:)
评论
收藏
内容反馈
立即下载
资源评论
资源反馈
评论星级较低,若资源使用遇到问题可联系上传者,3个工作日内问题未解决可申请退款~
联系上传者
评论
yang_5
2015-11-29
还可以参考一下
wangxianfeng900125
2016-09-27
恩。比较易懂,不是自己需要的。
sqwuyu
2016-10-15
可以参考一下
小苏小苏
2016-10-08
恩。比较易懂,有小瑕疵自己可以做改进。
huang9126
2015-06-09
已经测试过了,部分图片会丢失,而且博客园的文章的名字有时候识别不出来,但是还是非常感谢
1
2
前往
页
fengmifan
粉丝: 6
资源:
19
私信
上传资源 快速赚钱
我的内容管理
展开
我的资源
快来上传第一个资源
我的收益
登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏
我的下载
下载帮助
前往需求广场,查看用户热搜
最新资源
软件测试资源.docx
基于django的建筑材料租赁管理系统.zip
基于Django的个人博客.zip
数字化建设- 总体规划蓝图.rar
国密算法工具smartTool软件算法测试工具国密SM-Tools可用于国密算法辅助测试.zip
前端开发资源.docx
基于django的python基础开发框架.zip
suno AI资源.docx
AI放飞伴侣1.apk
数字化工厂规划与建设方案.rar
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
- 1
- 2
前往页