没有合适的资源?快使用搜索试试~ 我知道了~
c# 多线程爬虫抓取
共201个文件
cs:55个
txt:39个
exe:25个
需积分: 14 6 下载量 65 浏览量
2014-04-25
10:34:52
上传
评论
收藏 2.42MB RAR 举报
温馨提示
1.CSpider文件夹下是我开始编写前参考的开源代码,结构比较清晰。单线程 2.任务概述是我这次写spider的过程的描述,我做这次spider的目的是完成一项课程设计。 3.整个spider的开发过程为增量式,从最开始的单页搜索url到最后的多线程spider,这在版本规划中又很明显的体现。每个版本都有自己的readme,其中详细叙述了各个版本的不同 4.由于是初学者,我在每个版本中都是边写边测试,以查找爬虫的bug,所以代码中有很多被注释的段落可能是测试使用。 5.具体版本信息查看各自的readme 另外,爬虫不止提取了url,同时提取了相应的锚文本。这个提取过程导致了爬虫速度的下降,但也是一个必须的开销
资源推荐
资源详情
资源评论
收起资源包目录
c# 多线程爬虫抓取 (201个子文件)
SpiderTest.vshost.application 1KB
SpiderTest.application 1KB
SpiderTest.application 1KB
SpiderTest.application 1KB
ResolveAssemblyReference.cache 6KB
Spider.cs 9KB
Spider.cs 8KB
Spider.cs 8KB
Spider.cs 8KB
Spider.cs 6KB
analyze_Html.cs 5KB
analyze_Html.cs 5KB
pageUrlResearch.cs 4KB
Spider.cs 3KB
Spider.cs 3KB
pageUrlResearch.cs 2KB
pageUrlResearch.cs 2KB
pageUrlResearch.cs 2KB
pageUrlResearch.cs 2KB
pageUrlResearch.cs 2KB
pageUrlResearch.cs 2KB
AssemblyInfo.cs 1KB
AssemblyInfo.cs 1KB
AssemblyInfo.cs 1KB
AssemblyInfo.cs 1KB
AssemblyInfo.cs 1KB
AssemblyInfo.cs 1KB
AssemblyInfo.cs 1KB
AssemblyInfo.cs 1KB
AssemblyInfo.cs 1KB
Url.cs 1KB
Url.cs 1KB
AssemblyInfo.cs 1KB
AssemblyInfo.cs 1KB
Url.cs 1KB
Url.cs 1KB
Url.cs 1KB
Url.cs 1KB
rooturl.cs 950B
rooturl.cs 950B
Program.cs 928B
Program.cs 928B
Program.cs 928B
analyze.cs 778B
Url.cs 745B
Url.cs 741B
Program.cs 686B
Spider.cs 630B
Spider.cs 630B
Program.cs 579B
analyze.cs 554B
Program.cs 493B
Program.cs 462B
Program.cs 455B
Program.cs 411B
ISpider.cs 409B
ISpider.cs 401B
store.cs 195B
store.cs 195B
extractUrl.cs 169B
SpiderTest.csproj 4KB
SpiderTest.csproj 3KB
IR.csproj 3KB
IR.csproj 3KB
IR.csproj 3KB
IR.csproj 3KB
IR.csproj 3KB
IR.csproj 3KB
IR.csproj 3KB
CSpider.csproj 2KB
CSpider.csproj 2KB
UpgradeReport.css 3KB
CSpider.dll 20KB
CSpider.dll 20KB
CSpider.dll 20KB
CSpider.dll 20KB
CSpider.dll 16KB
CSpider.dll 9KB
CSpider.dll 9KB
任务概述.doc 100KB
SpiderTest.exe 16KB
SpiderTest.exe 16KB
SpiderTest.exe 16KB
ConsoleApplication13.vshost.exe 14KB
ConsoleApplication13.vshost.exe 14KB
ConsoleApplication13.vshost.exe 14KB
SpiderTest.vshost.exe 14KB
ConsoleApplication13.vshost.exe 14KB
ConsoleApplication13.vshost.exe 14KB
ConsoleApplication13.vshost.exe 14KB
ConsoleApplication13.vshost.exe 14KB
ConsoleApplication13.exe 10KB
ConsoleApplication13.exe 10KB
ConsoleApplication13.exe 10KB
ConsoleApplication13.exe 10KB
ConsoleApplication13.exe 10KB
ConsoleApplication13.exe 10KB
ConsoleApplication13.exe 9KB
ConsoleApplication13.exe 9KB
ConsoleApplication13.exe 9KB
共 201 条
- 1
- 2
- 3
资源评论
hulinkai005
- 粉丝: 0
- 资源: 17
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功