没有合适的资源?快使用搜索试试~ 我知道了~
polipus:lip属
共70个文件
rb:44个
yml:16个
md:3个
需积分: 9 0 下载量 112 浏览量
2021-05-20
16:22:21
上传
评论
收藏 1.5MB ZIP 举报
温馨提示
lip属 由Redis支持的用ruby编写的分布式Web爬虫,该项目已提交给RubyDay2013 特征 易于使用 分布式且可扩展 它使用智能/快速且节省空间的概率数据结构来确定是否应访问url 它不会耗尽您的Redis服务器 即使不是严格要求,也可以在MongoDB上很好地玩 轻松编写自己的页面存储策略 集中抓取变得容易 深受海葵的启发 支持的Ruby解释器 核磁共振1.9.x> = 1.9.1 核磁共振2.0.0 核磁共振2.1.2 JRuby 1.9模式 鲁比尼乌斯 生存代码示例 require "polipus" Polipus . crawler ( "rubygems" , "http://rubygems.org/" ) do | crawler | # In-place page processing crawler . on_page_download
资源推荐
资源详情
资源评论
收起资源包目录
polipus-master.zip (70个子文件)
polipus-master
.rubocop_todo.yml 1KB
polipus.gemspec 2KB
LICENSE.txt 1KB
.document 55B
lib
polipus
signal_handler.rb 714B
url_tracker
bloomfilter.rb 428B
redis_set.rb 499B
storage.rb 1KB
http.rb 8KB
url_tracker.rb 621B
plugins
sleeper.rb 486B
sample.rb 293B
cleaner.rb 736B
page.rb 7KB
queue_overflow
base.rb 89B
mongo_queue.rb 2KB
dev_null_queue.rb 498B
manager.rb 2KB
mongo_queue_capped.rb 785B
worker.rb 746B
robotex.rb 4KB
plugin.rb 240B
queue_overflow.rb 1KB
version.rb 108B
storage
base.rb 447B
dev_null.rb 422B
memory_store.rb 969B
mongo_store.rb 3KB
rethink_store.rb 2KB
polipus.rb 15KB
Gemfile 129B
spec
cassettes
gzipped_on.yml 8KB
978ac0eeb5df63a019b754cc8a965b06.yml 1.26MB
http_test.yml 94KB
11c3eb8bf35dfc179dc5ce44f6f5f458.yml 446KB
http_test_redirect.yml 1KB
6adfecdb274dd26ffd3713169583ca91.yml 1.26MB
ce16b11a7df0b70fe90c7f90063fdb8c.yml 825KB
1f6e1d7743ecaa86594b4e68a6462689.yml 785KB
http_cookies.yml 10KB
http_tconnection_max_hits.yml 273KB
bc6fb220895689be7eeb05b09969a18d.yml 2KB
c5ce68499027d490adfbb6e5541881e4.yml 1.25MB
b389efd1dcb8f09393b5aae1627c2a83.yml 2.53MB
polipus
queue_overflow_spec.rb 2KB
http_spec.rb 6KB
page_spec.rb 2KB
signal_handler_spec.rb 455B
robotex_spec.rb 2KB
queue_overflow
manager_spec.rb 3KB
storage
mongo_store_spec.rb 4KB
rethink_store_spec.rb 4KB
memory_store_spec.rb 3KB
url_tracker_spec.rb 672B
clear.rb 318B
spec_helper.rb 1KB
polipus_spec.rb 4KB
Rakefile 149B
examples
survival.rb 281B
error_handling.rb 631B
incremental.rb 2KB
basic.rb 2KB
robots_txt_handling.rb 364B
.travis.yml 607B
AUTHORS.md 202B
README.md 2KB
.rubocop.yml 248B
.rspec 31B
.gitignore 843B
CHANGELOG.md 3KB
共 70 条
- 1
资源评论
e起学美术
- 粉丝: 18
- 资源: 4631
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功