Rbotstxt 是什么robotstxt是搜索引擎中访问网站的时候要查看的第一个文件Robotstxt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robotstxt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围如果该文件不。

它能够保护我们的一些文件不暴露在搜索引擎之下，从而有效的控制蜘蛛的爬取路径，为我们站长做好seo创造必要的条件尤其是我们的网站刚刚创建，有些内容还不完善，暂时还不想被搜索引擎收录时robotstxt也可用在某一目录中对这一目录下的文件进行搜索范围设定几点注意网站必须要有一个。

Robotstxt文件的作用1屏蔽网站内的死链接2屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面3阻止搜索引擎索引网站隐私性的内容因此建立robotstxt文件是很有必要的，网站中重复的内容页面或者404信息过多，搜索引擎蜘蛛就会认为该网站价值较低，从而降低对该网站的“印象分”，这就是我们经常听到。

5 黑帽SEO与robots协议 合理使用robots协议文件可以防止搜索引擎显示网站的快照，通过在网页头部或robotstxt文件中添加特定元标记来实现同时，也可以允许其他搜索引擎显示快照但仅防止特定搜索引擎显示6 常见robots名称 各搜索引擎有其特有的蜘蛛名称，如googlebotbaiduspidersogouspider360Spider。

通过给网站设置适当的robotstxt对Google和百度seo优化的作用是很明显的WordPress博客网站也一样 我们先看看robotstxt是什么，有什么作用 robotstxt是什么 我们都知道txt后缀的文件是纯文本文档，robots是机器人的意思，所以顾名思义，robotstxt文件也就是给搜索引擎蜘蛛这个机器人看。

robotstxt协议是一种存放于网站根目录下的ASCII编码的文本文件，它用于告诉网络搜索引擎的漫游器又称网络蜘蛛，此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的因为一些系统中的URL是大小写敏感的，所以robotstxt的文件名应统一为小写，并放置于网站的根目录下简单来说，robotstxt文件就像是网。