下载  >  开发技术  >  C#  > 基于C#的网络爬虫程序

基于C#的网络爬虫程序 评分

主要特性有: • 可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。 • 状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。 • 有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。 • 健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 • 较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。

...展开详情
所需积分/C币:3 上传时间:2011-04-20 资源大小:2.24MB
举报 举报 收藏 收藏 (1)
分享 分享

评论 下载该资源后可以进行评论 4

jiangbo1125 代码有些复杂,不过还是可以用
2014-06-03
回复
never1112 有些复杂 慢慢学习学习
2013-11-01
回复
tvvbbb 很好用!!能够解决问题!
2013-02-23
回复
qq297095637 功能很全,程序也很复杂。
2012-07-19
回复
最完全的基于C#的网络爬虫

C#实现完全的网络爬虫,详细的设计,详细的源代码分析,不看后悔,不看后悔啊

立即下载
基于C#的网络爬虫程序

方便对网页进行抓取,方便大家对网络爬虫的充分理解。

立即下载
基于C# 的网络爬虫源程序

用C#语言编写的网络爬虫源程序.网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。

立即下载
C#实现网络爬虫

这是一款用 C# 编写的网络爬虫 主要特性有: 可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。 有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。 健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。

立即下载
C#网络爬虫

基于C#的网络爬虫源码,支持多线程技术和网络搜索的爬虫程序

立即下载
基于C#.NET的高端智能化网络爬虫

基于C#.NET的高端智能化网络爬虫

立即下载
搜索引擎的分析与程序设计,网络爬虫抓URL的原理,基于C#

搜索引擎的分析与程序设计,网络爬虫抓URL的原理,基于C#.

立即下载
C#网络爬虫源码

网络爬虫程序源码 这是一款用 C# 编写的网络爬虫 主要特性有: 可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。 有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。 健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。 今后有空可能加入的特性: 新特性 介绍 爬取文件用Berkeley DB存储 提高性能: 常用操作系统不善于处理大量小文件 基

立即下载
C#网络爬虫_网络矿工开源版

网络矿工是一款基于.Net平台的开源软件,也是网站数据采集软件类型中唯一一款开源软件。尽管开源,但并不会影响软件功能的提供,甚至要比一些商用软件的功能还要丰富。当前提供的主要功能如下: 1. 多任务多线程数据采集,支持POST方式; 2. 可采集Ajax页面; 3. 支持Cookie,支持手工登录采集数据; 4. 支持采集事务; 5. 支持数据自动及手工导出,导出格式为:文本、Excel、Access、MSSql、Mysql等; 6. 支持在线发布数据; 7. 支持导航网址的采集,导航深度不限; 8. 支持自动翻页; 9. 支持文件下载,可

立即下载
基于Socket的多线程C#爬虫程序

这是一个C#实现的Web网页/网络爬虫程序(也叫网络蜘蛛或网络蚂蚁),它可以自动的对一个网站上的网页进行遍历,并自动下载。大多用于搜索引擎的前期数据获取,当然,也可以用来分析获取Email了

立即下载
小米笔记本价格监测系统 (基于C#使用GDI+绘制价格折线图)

使用C#抓取官网笔记本价格,然后基于GDI+绘制价格折线图,系统支持笔记本类型选择,监测间隔时间设置,降价预警等功能。备注:由于小米笔记本官网页面变动,可能需要根据最新页面调整一下抓取的url和相关的标签。

立即下载
C# 网页抓取(网络爬虫)的新闻弹窗小工具 windows 编程

基于C#实现的 通过从网站上爬取新闻消息以弹窗的形式展现

立即下载
C#爬虫研究,拼多多商家自动发货系统

基于 苏飞的CsharpHttpHelper万能框架 写的一个拼多多商家自动发货系统,想研究爬虫技术的新手可以下载看一下,系统分为两部分,一部分是后台管理,一部分是自动发货客户端

立即下载
Sosoo 1.0网络爬虫程序.doc

Sosoo 1.0网络爬虫程序 ---用户开发手册 编写人:王建华(rimen/jerry) 编写目的:基于sosoo定制web spider程序的编程人员。 目录 一:安装sosoo 2 二:功能定制 2 1.基本功能参数的设置。 2 2.配置机器人对url的检查 3 3:实现文件管理。 4 4.定制html文档下载规则。 4 5.设置对下载后http文档的过滤处理 5 6.启用机器人运行期监控。 5 7.启用对http协议分析的监控。 5 三:sosoo描述 6 四:应用开发指南 6 1.Roboter类,spider程序的主类。 6 2.TaskL

立即下载
专业网络抓包工具 Telerik Fiddler 5.0.2018.14580 中文汉化版.zip

专业网络抓包工具 Telerik Fiddler 5.0.2018.14580 中文汉化版 Fiddler 是一个 http 协议调试代理工具,它能够记录并检查所有你的电脑和互联网之间的 http 通讯,设置断点,查看所有的“进出”Fiddler 的数据(指 cookie,html,js,css 等文件)。 Fiddler 要比其他的网络调试器要更加简单,因为它不仅仅暴露 http 通讯还提供了一个用户友好的格式。Fiddler 是用 C# 写出来的,它包含一个简单却功能强大的基于 JScript .NET 事件脚本子系统,它的灵活性非常棒,可以支持众多的 http 调试任务,并且能够使

立即下载
小旋风垂直搜索平台,快速拱建垂直搜索引擎

小旋风垂直搜索平台 源代码共享计划 小旋风是什么? 小旋风是一款集多任务、多线程智能网络爬虫、基于xml / xpath的路径规则的数据抽取系统、无缝集成lucene.net2.3全文索引系统,高性能中文分词组件、多数据库支持的综合垂直搜索引擎平台。 它帮您快速搭建任何一个您期望中的垂直搜索平台,比如酷讯(kuxun.cn),比如去哪儿,比如搜职网,比如爱帮网等等。 为什么小旋风是客户端,它是基于什么平台开发的? 从程序使用的方便性及性能上考虑,我们为发挥客户端强大的权限优势,为您提供一个最容易上手的平台。 小旋风是基于微软下一代面向对象的开发语言C# 2.0开发,您使用前请确保您的系统

立即下载
ModbusTCP/RTU网关设计

基于UIP协议栈,实现MODBUS联网,可参考本文档资料,有MODBUS协议介绍

立即下载
html+css+js制作的一个动态的新年贺卡

该代码是http://blog.csdn.net/qq_29656961/article/details/78155792博客里面的代码,代码里面有要用到的图片资源和音乐资源。

立即下载
iCopy解码软件v1.0.1.7.exe

解ic,id,hid卡密码破解ic,id,hid卡密码破解ic,id,hid破解ic,id,hid卡破解ic,id,hid卡密码密码卡密码破解ic,id,hid卡...

立即下载
分布式服务框架原理与实践(高清完整版)

第1章应用架构演进1 1.1传统垂直应用架构2 1.1.1垂直应用架构介绍2 1.1.2垂直应用架构面临的挑战4 1.2RPC架构6 1.2.1RPC框架原理6 1.2.2最简单的RPC框架实现8 1.2.3业界主流RPC框架14 1.2.4RPC框架面临的挑战17 1.3SOA服务化架构18 1.3.1面向服务设计的原则18 1.3.2服务治理19 1.4微服务架构21 1.4.1什么是微服务21 1.4.2微服务架构对比SOA22 1.5总结23 第2章分布式服务框架入门25 2.1分布式服务框架诞生背景26 2.1.1应用从集中式走向分布式.26?

立即下载