什么是robots协议/如何查看网站的robots协议
对于robots协议,大家了解多少,什么是robots协议,又该如何查看网站的robots协议,下面一起来看看吧。
什么是robots协议
robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,简单核心的来表达就是:robots协议就是告诉蜘蛛爬虫网站那些页面可以被搜索引擎抓取,哪些页面却不能够被搜索引擎抓取的。
如何查看网站的robots协议
1、robots协议直接查看方法:网址+robots.txt
2、借助在线工具网查看,比如:http://www.wetools.com/robots-tester,这个网站进去后直接输入要查的网址就可以查看robots协议。
扫描关注公众号