没有合适的资源?快使用搜索试试~ 我知道了~
我在服务器上有每天切割nginx日志的习惯,所以针对每天各大搜索引擎来访,总能记录一些404页面信息,传统上我只是偶尔分析下日志,但是对于很多日志信息的朋友,人工来筛选可能不是一件容易的事情,这不我个人自己慢慢研究了一点点,针对谷歌、百度、搜搜、360搜索、宜搜、搜狗、必应等搜索引擎的404访问生成为一个txt文本文件,直接上代码test.php。 复制代码 代码如下: <?php //访问test.php?s=google $domain=’https://www.jb51.net’; $spiders=array(‘baidu’=>’Baiduspider’,’360’=>’360Spid
资源详情
资源评论
资源推荐
PHP统计统计nginx访问日志中的搜索引擎抓取访问日志中的搜索引擎抓取404链接页面路径链接页面路径
我在服务器上有每天切割nginx日志的习惯,所以针对每天各大搜索引擎来访,总能记录一些404页面信息,传统上我只是偶
尔分析下日志,但是对于很多日志信息的朋友,人工来筛选可能不是一件容易的事情,这不我个人自己慢慢研究了一点点,针
对谷歌、百度、搜搜、360搜索、宜搜、搜狗、必应等搜索引擎的404访问生成为一个txt文本文件,直接上代码test.php。
复制代码 代码如下:
<?php
//访问test.php?s=google
$domain=’https://www.jb51.net’;
$spiders=array(‘baidu’=>’Baiduspider’,’360’=>’360Spider’,
‘google’=>’Googlebot’,’soso’=>’Sosospider’,’sogou’=>
‘Sogou web spider’,’easou’=>’EasouSpider’,’bing’=>’bingbot’);
$path=’/home/nginx/logs/’.date(‘Y/m/’).(date(‘d’)-1).’/access_www.txt’;
$s=$_GET[‘s’];
if(!array_key_exists($s,$spiders)) die();
$spider=$spiders[$s];
$file=$s.’_’.date(‘ym’).(date(‘d’)-1).’.txt’;
if(!file_exists($file)){
$in=file_get_contents($path);
$pattern=’/GET (.*) HTTP\/1.1″ 404.*’.$spider.’/’;
preg_match_all ( $pattern , $in , $matches );
$out=”;
foreach($matches[1] as $k=>$v){
$out.=$domain.$v.””;
}
file_put_contents($file,$out);
}
$url=$domain.’/silian/’.$file;
echo $url;
好就这样了。没有什么高深的技术,只有动手写的过程。
您可能感兴趣的文章您可能感兴趣的文章:php 定义404页面的实现代码ThinkPHP3.2.3框架实现的空模块、空控制器、空操作,跳转到错误404页
面图文详解thinkphp框架下404页面设置 仅三步ThinkPHP 404页面的设置方法ThinkPHP访问不存在的模块跳转到404页面的
方法php使用curl判断网页404(不存在)的方法PHP header()函数使用详细(301、404等错误设置)php 404错误页面实现代码用
php来改写404错误页让你的页面更友好php 智能404跳转代码,适合换域名没改变目录的网站thinkPHP5框架设置404、403等
http状态页面的方法php简单检测404页面的方法示例
weixin_38578242
- 粉丝: 3
- 资源: 945
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0