iWebCrawler 百度谷歌搜索爬虫加速工具(iWebCrawler 搜索爬虫加速工具)
系统简介：
iWebCrawler 搜索爬虫加速工具提供常见搜索引擎日志分析(重点是百度爬虫)；可
根据网站提供的符合格式的百度 sitemap 网站地图，把每天的新产出链接主动推送给
百度推送接口，并且能够在推送前过滤掉百度爬虫已抓取链接及系统已推送的链接，从而
加快网站收录速度，提升网站权重。可根据用户要求为用户定制百度 sitemap 网站地图
生成功能模块，支持生成百度 Sitemap 协议三种格式：文本格式、xml 格式、Sitemap 索
引格式,可以根据自己情况来选择任意一种格式组织 sitemap;如果文件很大，可以自动拆分
为几个小的 Sitemap。主动推送功能可以支持任何网站（只要能提供符合格式的百度
sitemap 网站地图）
本系统共分三部分
一、
爬虫访问记录分析
二、
生成百度 sitemap 网站地图(商业版，可定制)
三、
主动推送站点新产出链接(商业版)
使用说明
首先导入数据库文件(data 文件夹限定 site.sql)，初始化系统配置
一、 爬虫记录分析：
可以分析 baidu,google,360,sogou,soso,Yahoo 爬虫日志，重点是百度爬虫日志分析
1. log 日志文件分析
用户需要根据服务器环境选择对应配置
