对于robotstxt文件存放位置了解多少，出现robotstxt限制怎么解决呢？下面一起来看看吧。
robotstxt文件存放位置
robots.txt文本文件必须存放在站点的根目录下，也就是需要和首页在同级目录下。obots.txt文本文件必须存放在站点的根目录下，也就是需要和首页在同级目录下。这样一方面优先百度查找并进行排除，一方面使百度蜘蛛没有必要去判断 robots.txt文件存放在哪个目录下。如果没有 robots.txt文件，会使百度蜘蛛爬行所有的网站，然后进行收录等，增加了一些不必要的操作，加大了百度蜘蛛的工作量。(站点，可以直接输入“域名/robots.txt”查看具体内容）。  
robotstxt限制怎么解决
1、修改robots限制语句，确认蜘蛛有权限访问网站内部路径，文档改成：
User-agent: *
Allow: /
2、登陆站长平台，手动更新robots文件，也就是通知蜘蛛，“我的robots文件修改啦，赶紧来看看！”
3、等待蜘蛛正式来访；实际上蜘蛛来过以后，得知了robots限制已经解除，但百度服务器很多，并没有那么快全部同步，需要等待一定实际的。
4、后续需要监控spider的访问情况，如果一两个月后还是没有动静，要注意了解还有没有其它地方有robots限制。
关于robotstxt的相关知识就介绍到这里，需要网站robots文件检测工具可以点击这里。