生成robots文件设置好抓取规则后，点击“生成robotstxt”按钮工具将根据你的设置自动生成相应的robots文件代码下载并使用生成完成后，你可以将robots文件代码复制并粘贴到你的网站根目录下的robotstxt文件中如果该文件不存在，则需要创建一个或者，你也可以直接下载生成的robots文件并上传到你。

四网站地图sitemap的制作 seo网站sitemap地图会给蜘蛛提供一个框架，让蜘蛛更快更有效的访问网站页面，蜘蛛会从中的得知什么页面优先访问，可以对搜索流量优化五网站的404页面的设置 seo优化网站404页面是在网站进入死链的时候现实的页面，它的设置可以提高用户的体验度，当用户点击错误的链接进入404页面。

站点地图如果你的网站有sitemap站点地图，可以将其URL填入到相应的字段中站点地图有助于搜索引擎更好地了解网站的结构和内容以下是一些配置页面的截图示例生成文件配置完成后，点击“创建文件”按钮此时，生成器会根据你的设置生成一个专业的robotstxt文件下载并部署生成文件后，可以点击红色。

1 Robottxt文件优化禁止搜索引擎抓取涉及安全动态页面死链接等方面，把网站地图放到最后允许抓取，可以直接复制以下通用的robots文件设置注前面一定要空一个格 Useragent * Disallow plus Disallow include Disallow templets Disallow data Disallow。

3启用ZBlog的Google Sitemaps插件，每次重建的时候自动重建Google Sitemaps文件，同时将这个XML文件放到robotstxt文件中4不进行友情链接交换，在首页上可以主动链接一些知名博客5启用ZBlog文章排行插件，并将年度月度排行放在首页，对于文章页面，使用JavaScript的方式调用排行6修改模板，使用。

正确设置robotstxt文件，有助于保护隐私敏感信息防止不必要的数据抓取，同时确保搜索引擎能高效地抓取和索引您希望展现的内容值得注意的是，robotstxt文件只影响搜索引擎的行为，对于其他网络爬虫或不合规的抓取行为并无约束力尽管robotstxt文件对于网站管理至关重要，但不应过分依赖它来完全控制网页。

\x0d\x0a8查看并修改robotstxt文件\x0d\x0arobotstxt文件是用来告诉蜘蛛什么链接是可以抓取什么链接是不能抓取的有外部链接就需要添加进robotstxt文件中，不让蜘蛛离开网站造成蜘蛛离开\x0d\x0a\x0d\x0a以上是基本的设置，如果想要有好的优化结果，还需要进行后续的操作\x0d\。