禁止搜索引擎/蜘蛛抓取的规则文件 robots.txt模板

禁止搜索引擎/蜘蛛抓取的规则文件 robots.txt模板 参照你们写就可以了，很简单的。这里的规则针对所有的搜索引擎，如果只针对百度 把User-agent: * 修改为 User-agent: baidu 即可，以此类推。