对于robots协议，大家了解多少，什么是robots协议，又该如何查看网站的robots协议，下面一起来看看吧。
什么是robots协议
robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，简单核心的来表达就是：robots协议就是告诉蜘蛛爬虫网站那些页面可以被搜索引擎抓取，哪些页面却不能够被搜索引擎抓取的。
如何查看网站的robots协议
1、robots协议直接查看方法：网址+robots.txt
2、借助在线工具网查看，比如：http://www.wetools.com/robots-tester，这个网站进去后直接输入要查的网址就可以查看robots协议。