下载  >  开发技术  >  C#  > C#网络爬虫源码

C#网络爬虫源码 评分

网络爬虫程序源码 这是一款用 C# 编写的网络爬虫 主要特性有: 可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。 有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。 健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。 今后有空可能加入的特性: 新特性 介绍 爬取文件用Berkeley DB存储 提高性能: 常用操作系统不善于处理大量小文件 基

...展开详情
所需积分/C币:13 上传时间:2017-09-26 资源大小:779KB
举报 举报 收藏 收藏 (3)
分享 分享
C#完整网络爬虫源代码

非常 完整的网 络 爬虫 程序 附加费

立即下载
网络爬虫(机器人蜘蛛)完整源代码(C#)

一个完整的网络爬虫(机器人蜘蛛)完整源代码 使用C#实现。

立即下载
网络爬虫源代码集锦

这是“用python写网络爬虫源码文件”,里面包含书中所有的例子程序,是你编写网络爬虫的好例子!

立即下载
c#整站爬虫源代码.rar

C# 网页爬虫,针对一个网站,爬取解析出的所有的超链接,以实现所有站点资源的下载。 本代码是在以为大神的基础上经过修改而成。

立即下载
网络爬虫最完整的源代码

包括知识介绍和最全面的网络爬虫源代码,分开讲解,更加细致入微,非常好的代码,很实用

立即下载
网络爬虫——动态抓取网页手机号码

程序采用C#.net实现网络爬虫程序,实现网页信息(手机号码)的动态抓取,并能自主选择保存路径等,功能强大

立即下载