robotstxt文件存放位置/robotstxt限制怎么解决

2021-11-26
1329

对于robotstxt文件存放位置了解多少,出现robotstxt限制怎么解决呢?下面一起来看看吧。
robotstxt文件存放位置
robots.txt文本文件必须存放在站点的根目录下,也就是需要和首页在同级目录下。obots.txt文本文件必须存放在站点的根目录下,也就是需要和首页在同级目录下。这样一方面优先百度查找并进行排除,一方面使百度蜘蛛没有必要去判断 robots.txt文件存放在哪个目录下。如果没有 robots.txt文件,会使百度蜘蛛爬行所有的网站,然后进行收录等,增加了一些不必要的操作,加大了百度蜘蛛的工作量。(站点,可以直接输入“域名/robots.txt”查看具体内容)。  
robotstxt限制怎么解决
1、修改robots限制语句,确认蜘蛛有权限访问网站内部路径,文档改成:
User-agent: *
Allow: /
2、登陆站长平台,手动更新robots文件,也就是通知蜘蛛,“我的robots文件修改啦,赶紧来看看!”
3、等待蜘蛛正式来访;实际上蜘蛛来过以后,得知了robots限制已经解除,但百度服务器很多,并没有那么快全部同步,需要等待一定实际的。
4、后续需要监控spider的访问情况,如果一两个月后还是没有动静,要注意了解还有没有其它地方有robots限制。
关于robotstxt的相关知识就介绍到这里,需要网站robots文件检测工具可以点击这里。

转载时必须以链接形式注明原始出处及本声明

扫描关注公众号