1、首先要创建一个robotstxt文本文件，放置到网站的根目录下，下面开始编辑设置Robots协议文件一允许所有搜索引擎蜘蛛抓取所以目录文件，如果文件无内容，也表示允许所有的蜘蛛访问，设置代码如下UseragentDisallow或者 UseragentAllow 二禁止某个搜索引擎蜘蛛抓取目录文件，设置代码如下User；robotstxt文件一般生效时间为715天，即12周如果新网站源码中包含robotstxt文件，那样蜘蛛进行爬行时就会生效，如果是后来添加的，那样蜘蛛需要对数据进行更新，时间一般在715天5关于robotstxt一般站长需要注意以下几点1网站上经常存在这种情况不同的链接指向相似的网页内容这不符合SE；在robotstxt中，键后面加号，后面必有一个空格，和值相区分开2Disallow键 该键用来说明不允许搜索引擎蜘蛛抓取的URL路径例如Disallow indexphp 禁止网站indexphp文件 Allow键 该键说明允许搜索引擎蜘蛛爬行的URL路径 例如Allow indexphp 允许网站的indexphp 通配符 代表任意多个字符。

2、首先访问的就是你的robotstxt日志文件，当你在robotstxt里设置权限不让搜索引擎访问，那么蜘蛛也会遵守互联网的协议进行返回，这就是为什么我们要建立robotstxt文析的原因 二在模版的headerphp的文件时添加一段代码，因为蜘蛛来到你的网站是由上到下访问的，所以刚开始访问到的肯定是从headerlt；NOFOLLOW不跟踪链接，所以蜘蛛不去爬，这样能集中权重robotstxt的限制抓取，是对本站根目录下的文件进行选择性地限制，作用的范围是本站下的文件如果二级域名指向的内容文件，不是在本站目录下，就不用管但如是在本站目录下的一个文件夹里，你又不想被收录，就需要设置；没有必要优化你网站上的所有的图片比如模板中使用的图片导航中的图片还有背景图片等等，我们不用为这些图片添加ALT标签，我们可以把这些图片放在一个单独的文件夹里并通过设置robots文件设置来阻止蜘蛛抓取这些图片；这个可以删除的，这是一个协议，搜索引擎蜘蛛访问网站时查看的第一个文件，这个文件将会告诉蜘蛛哪些可以抓取索引，哪些不可以百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robotstxt文件如果您希望搜索引擎收录网站上所有内容，请勿建立robotstxt文件但是SEO实战密码一；robotstxt文件是网站用来指示搜索引擎爬虫如何访问和抓取网站内容的一个文本文件其语法相对简单，但作用重大例如，我们可以看到一个基本的robotstxt文件例子robotstxt文件开始 来自 的 robotstxt文件 所有蜘蛛将爬取此域名 UseragentDisallow security D。

3、除此之外，SEO工作还有利于搜索引擎快速收录新页面，提高收录覆盖率的效果SEO是一套系统工程，是从网站建设之初就的开始的，贯穿从建站到运营的方方面面不管是个人网站，还是门户，搜索引擎都是一个很重要的流量来源，SEO显得尤为重要个人网站大多网站结构简单，应对调整反应速度快，更容易符合SEO的；当搜索引擎蜘蛛准备爬行某个网页的时候，会对服务器发出访问申请，申请通过后，搜索引擎会先去爬行网站的robotstxt文件，针对robotstxt文件中所禁止搜索引擎抓取的局部，搜索引擎将不会去抓取接着服务器就会给搜索引擎返回当前页面的html代码，现在有很多的站长工具中都会有模仿蜘蛛抓取网页代码的功能。

4、robots文件主要的作用就是阻止蜘蛛抓取你不想让他抓取的文件最好还是要一个，比如网站后台等一些文件 想要不被他他抓取，robots文件就能起到作用了具体写法如下图片；生成robots文件设置好抓取规则后，点击“生成robotstxt”按钮工具将根据你的设置自动生成相应的robots文件代码下载并使用生成完成后，你可以将robots文件代码复制并粘贴到你的网站根目录下的robotstxt文件中如果该文件不存在，则需要创建一个或者，你也可以直接下载生成的robots文件并上传到你；调整网站SEO优化策略的方法主要包括以下几点检查并优化robotstxt文件 作用robotstxt文件用于控制搜索引擎蜘蛛的爬行行为，可以阻止不必要的文件被爬行，从而引导搜索引擎更高效地获取网站的主要内容操作检查robotstxt文件是否设置正确，确保重要页面被允许访问，同时阻止不必要的文件或目录被索引优化。

5、蜘蛛访问任何一个网站时，都会先访问网站根目录下的robotstxt文件如果robotstxt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止的网址 都不抓取，肯定是不会被采集存进百度数据库的；谷歌SEO优化的Robotstxt协议是什么 robotstxt协议是一种存放于网站根目录下的ASCII编码的文本文件，它用于告诉网络搜索引擎的漫游器又称网络蜘蛛，此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的因为一些系统中的URL是大小写敏感的，所以robotstxt的文件名应统一为。

6、放置或者刚刚修改了robotstxt的内容，大约多长时间能生效baiduspider通常每天访问一次网站的robotstxt文件，您对robots所做的修改，会在48小时内生效需要注意的是，robotstxt禁止收录以前百度已收录的内容，从搜索结果中去除可能需要数月的时间也就是说百度的蜘蛛会经常访问robotstxt，对robotstxt所。