robots文件怎么写，该如何写robots文件，对于robots文件的作用是什么，以下就来看看吧！
robots文件怎么写
目前位置robots协议文件写法有如下：
1）user-agent:* 这里的*代表对所有的搜索引擎种类类型，*其实就是通配符的意思。
2）allow:/ 是代表所有的robots允许访问。
3）Disallow: /是代表所有的robots不允许访问。
​注意：
1、 所有字母需要用英文输入法
2、 ：与 * 之间需有一个英文输入法的空格
3、 ：与 / 之间需有一个英文输入法的空格
robots文件的作用是什么
1、屏蔽网站内的死链接。
2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。
3、阻止搜索引擎索引网站隐私性的内容。
以上就是关于robots文件的相关知识点就介绍到这里，需要robots文件检测工具就点击这里。