# PHP编写的DHT网络爬虫
以分析当前热门、用户喜好为目的,收集和查看磁力链接和种子,当然少不了证明PHP是世界上最好的语言 ^_^
磁力搜索站点:www.imdalai.com (目前在收集分析磁力和种子阶段,尚未提供搜索)
## 1.开发环境介绍
### 1.环境搭建过程
[centos7+php7.1.4+mysql5.7+swoole搭建记录](https://dalaizhao.github.io/2017/05/23/centos7-php7-1-4-mysql5-7-swoole%E6%90%AD%E5%BB%BA%E8%AE%B0%E5%BD%95/)
### 2.介绍开发环境
linux系统:centos7.2
php版本:php7.1.4
数据库:mysql5.7
当然要用高性能、高并发通信引擎:[swoole1.9.9](https://github.com/swoole/swoole-src)
### 3.协议介绍
[DHT协议解析](https://github.com/dalaizhao/PhpSpider_Magnet-BitTorrent/blob/master/dht_readme.md)
目前忙于实习,本系统也是处于未完善状态,不过收集hashInfo倒是完善的(见dht文件夹),其它异步数据库、和bt下载都出与未完善阶段。那天抽空再完善整个系统。 谢谢,鼓励!
# 重构中查看分支: feature_refactoring
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的HTML内容。这通常通过HTTP请求库实现,如Python中的Requests库。 解析内容: 爬虫对获取的HTML进行解析,提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据,如文本、图片、链接等。 数据存储: 爬虫将提取的数据存储到数据库、文件或其他存储介质中,以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-Agent。 反爬虫应对: 由于爬虫的存在,一些网站采取了反爬虫措施,如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用,包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。
资源推荐
资源详情
资源评论
收起资源包目录
php实现p2p中DHT网络爬虫,并提供搜索下载.zip (25个子文件)
WGT-code
sql
sql_infohash.sql 648B
.idea
dataSources
bf1d3435-ff6b-4307-a34e-19f091aafb3a.xml 2KB
dataSources.local.xml 927B
sqldialects.xml 203B
vcs.xml 180B
PhpSpider_Magnet-BitTorrent.iml 281B
workspace.xml 25KB
misc.xml 545B
php.xml 147B
dataSources.xml 939B
modules.xml 306B
copyright
profiles_settings.xml 74B
dht
inc
Bencode.class.php 8KB
Base.class.php 2KB
Node.class.php 2KB
lib
smtp.class.php 8KB
header.php 186B
config.php 309B
dht.php 10KB
sendEmail.php 1015B
infohash.log 11B
README.md 311B
sqlUtil.php 1KB
dht_readme.md 15KB
README.md 1KB
共 25 条
- 1
资源评论
JJJ69
- 粉丝: 6167
- 资源: 5789
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功