WordPressSEO:如何用好Robots.txt文件加速网站收录-谷歌大脑

如何用好Robots.txt文件加速网站收录

robots.txt文件是一个纯文本文件，包含对搜索引擎的各种指示。它包括关于搜索引擎应该或不应该蜘蛛的特定文件夹和文件的细节。(WordPressSEO)
例如，你可以告诉搜索引擎忽略你服务器上一个特定文件夹内的所有文件。搜索引擎应该远离的文件夹的一个好例子是WordPress的插件文件夹。那里的文件不是你网站上的内容页，所以你为什么希望搜索引擎在那里嗅来嗅去？如果你允许他们这样做，他们就会索引这些文件夹中的PHP文件，从而把它们作为你网站的内容列在SERPS中。这不是我们想要的，不是吗？
使用 robots.txt 文件很容易。只要在任何文本编辑器中创建一个文本文件，并添加命令。一旦完成，只需把它上传到你的WordPress网站的根文件夹。
在WordPress网站上，他们展示了一个建议的 robots.txt 文件的例子。你可以在这里找到它。
http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress
然而，由于我们使用Yoast的WordPress插件，在排除搜索引擎蜘蛛方面，我们需要做的很多事情已经为我们完成。在一篇关于这个问题的文章中（http://yoast.com/example-robots-txt-wordpress/），Joost de Valk（WordPress SEO插件的作者），通过WordPress的例子，解释了为什么大部分都不是真的需要。
在Yoast的文章中，(WordPressSEO)建议了一个简化得多的robots.txt文件，它与他目前在Yoast.com上使用的文件类似。它是这样的:
User-Agent: Disallow: /wp-content/plugins/ Disallow: /wp-content/plugins/

我个人在我的网站上添加了几行额外的内容。第一行是为了禁止蜘蛛进入cgi-bin文件夹。
Disallow: /cgi-bin
大多数网站的所有者在这个文件夹中没有任何文件和子目录，所以这对大多数人来说并不重要。我添加到robots.txt文件中的另一行是告诉蜘蛛我的网站地图的位置。
你可以通过进入左侧边栏的SEO菜单中的XML网站地图设置来找到你的网站地图的位置。

点击 “XML网站地图 “按钮，你的网站地图将在浏览器中打开。

XML网站地图

你现在有一个选择。你可以从你的互联网浏览器的地址栏中复制URL，并将其作为你的网站地图URL。或者，你可以抓取下面列出的各个网站地图的URL，并分别添加到你的robots.txt文件。
我喜欢将所有三个（你可以有更多或更少），网站地图添加到我的 robots.txt 文件。
这些行看起来像这样。
Sitemap: http://我的域名/post-sitemap.xml
很明显，我把我的真实域名换成了那个URL。因此，我的完整的robots.txt文件看起来像这样。
User-Agent: * Disallow: /wp-content/plugins/ Disallow: /cgi-bin Allow: /wp-content/uploads Sitemap: http://mydomain.com/post-sitemap.xml Sitemap: http://mydomain.com/page-sitemap.xml Sitemap: http://mydomain.com/category-sitemap.xml
在把这个保存为一个叫做robots.txt的纯文本文件后，只要把它上传到你的网站根目录下（这是WordPress安装的地方）。