下载 >  开发技术 >  Python > 一个可以定制的爬虫

一个可以定制的爬虫 评分:

本程序是用python编写,无需安装。运行Crawler.exe就可以看到效果。</br> 如果不修改配置是抓取新浪科技的内容,修改配置可以抓取指定的网站。</br> 配置文件采用ini的格式.</br> spider_config.ini蜘蛛的配置</br> 1. maxThreads 爬虫的线程数</br> 2. startURL 爬虫开始的URL</br> 3. checkFilter 爬虫只抓取指定的URL(采用正则表达式匹配)</br> 4. urlFilter 爬虫提供给分析器的URL(采用正则表达式匹配)</br> sucker_ config.ini 网页分析器的配置</br> 1. maxThreads 分析器的线程数</br> 2. pattern parser匹配的正则表达式</br> 3. parser 指定对应pattern的分析器</br> 本程序支持自定义分析器。可以参照软件包中NewsParser.py的写法自己写个parser,前提是熟悉python。写好后运行compile编译承pyc就可以了
...展开详情收缩
2007-04-06 上传大小:1.23MB
立即下载 开通VIP
分享
收藏 (16) 举报

评论 共38条

rebecca_g 感谢楼主分享!
2017-11-09
回复
qqjiushigeshabi 不太懂,慢慢学习中
2017-08-24
回复
janetyuu 不错,谢谢lz分享,我会好好学习的
2017-05-26
回复
gene1994 挺好的 学习中
2017-05-25
回复
tjzzy 没什么注释,只能看看效果,有点expected string or buffer的错误
2017-04-20
回复
akun2011 好东西,谢谢分享!
2017-03-06
回复
qq_16699519 终于找到了很好的东西, 很好很强大,感觉非常好
2017-03-06
回复
u014763697 终于找到了很好的东西, 很好很强大,感觉非常好
2016-12-09
回复
mouse61 研究中,貌似不太好用的样子
2016-02-24
回复
qq_19437213 一直想学习爬虫,资源不错
2015-11-08
回复
python 爬虫源码

可以定制的Python爬虫,可以用XML定制爬取规则(附XML示例)

立即下载
爬虫(爬取网站的数据)

这是一个小型爬虫 可以帮助大家更好的理解什么是爬虫 爬虫可以用来做什么

立即下载
百度贴吧爬虫

一个python爬虫,爬百度贴吧,可以教初学者爬虫知识

立即下载
spider爬虫

spider爬虫抓取网页数据定制网页爬虫获取自己想要的数据

立即下载
Heritrix网络爬虫

简单的实现了Heritrix的爬虫机制,可以简单的爬一些视频网站,有兴趣者 可以在原基础上进行扩展和定制

立即下载
一个图片爬虫和音乐爬虫

一个图片爬虫和音乐爬虫可以完美运行,如又不懂可以看我的博客

立即下载
java爬虫(查成语应用程序)

java爬虫,根据爬取的成语所做的一个应用程序,对于刚学习爬虫的可以看看,当一个学习例子

立即下载
java爬虫Demo

一个简单的java爬虫Demo。一个简单的java爬虫Demo。一个简单的java爬虫Demo。

立即下载
百度贴吧java爬虫

一个简单的百度贴吧java爬虫,可以爬取用户内容,用户名和楼层 一个简单的百度贴吧java爬虫,可以爬取用户内容,用户名和楼层

立即下载
一个国外爬虫demo

关于一个国外爬虫的demo下载,有兴趣的可以看看

立即下载
一个简单的爬虫代码,可以帮助大家入门

一个简单的爬虫代码,采用Python实现,可以帮助大家入门。

立即下载
糗事百科爬虫

一个爬糗事百科的爬虫,既可以娱乐,也可以提供学习

立即下载
python爬虫电影天堂

基本的爬虫代码,关于电影天堂,大家可以通过这个代码对爬虫有个基本的了解,也是一个基本的爬虫

立即下载
简单的搜索引擎开发

一个简单的搜索引擎,能够实现基本的爬虫和搜索功能,可以实现分词 爬虫 热词推荐和文本提取

立即下载
一个项目产生多个定制版本的管理流程

尝试一下利用 SVN+Ant来简化项目与产品、项目与项目之间的分支管理

立即下载
Go语言爬虫利器--Pholcus实战视频教程
JAVA开发一个简单的爬虫的思路1

JAVA开发一个简单的爬虫的思路1 适合理解爬虫,及入门

立即下载
jsoup+httpclient j简单爬虫

jsoup+httpclient 简单爬虫,一个jsoup的简单爬虫实例

立即下载
一个带数据库的爬虫

一个带数据库的爬虫!非常不错的爬虫入门哦!学习爬虫的朋友不要错过

立即下载
无涯专用记事本(VB开发)

我写的一个仿NOTEPAD的记事本程序,可以置顶,可以定制字体颜色,可以显示当前电脑用户,可以定制背景颜色。。。。。。

立即下载
img

spring mvc+mybatis+mysql+maven+bootstrap 整合实现增删查改简单实例.zip

资源所需积分/C币 当前拥有积分 当前拥有C币
5 0 0
点击完成任务获取下载码
输入下载码
为了良好体验,不建议使用迅雷下载
img

一个可以定制的爬虫

会员到期时间: 剩余下载个数: 剩余C币: 剩余积分:0
为了良好体验,不建议使用迅雷下载
VIP下载
您今日下载次数已达上限(为了良好下载体验及使用,每位用户24小时之内最多可下载20个资源)

积分不足!

资源所需积分/C币 当前拥有积分
您可以选择
开通VIP
4000万
程序员的必选
600万
绿色安全资源
现在开通
立省522元
或者
购买C币兑换积分 C币抽奖
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
为了良好体验,不建议使用迅雷下载
确认下载
img

资源所需积分/C币 当前拥有积分 当前拥有C币
46 0 0
为了良好体验,不建议使用迅雷下载
VIP和C币套餐优惠
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
您的积分不足,将扣除 10 C币
为了良好体验,不建议使用迅雷下载
确认下载
下载
您还未下载过该资源
无法举报自己的资源

兑换成功

你当前的下载分为234开始下载资源
你还不是VIP会员
开通VIP会员权限,免积分下载
立即开通

你下载资源过于频繁,请输入验证码

您因违反CSDN下载频道规则而被锁定帐户,如有疑问,请联络:webmaster@csdn.net!

举报

若举报审核通过,可返还被扣除的积分

  • 举报人:
  • 被举报人:
  • *类型:
    • *投诉人姓名:
    • *投诉人联系方式:
    • *版权证明:
  • *详细原因: