潜谈robots文件设置
二 13, 2010 | seo技巧 |
首先说下设置 robots.txt 文件的好处：一，可以让搜索引擎按你的要求合理的收录你的博客内容，二，也可以防止因为收录重复内容而降低你的博客文章在搜索引擎里面的权重，三，还可以提升博客的访问量。
根据搜索引擎的特性在 WordPress 中阻止 Spider 爬行一些目录和文件，不但可以有效的节省搜索引擎对服务器带宽的占用，还可以提高网站在搜索引擎中的排名，网上说通过将 comment feeds 与 Trackbacks 排除在外，可以提高博客的流量，这一点我没有尝试过，个人觉得 comment feeds 可以提高博客流量，试想如果有人订阅了 comment ，那么会有一定几率通过此途径来访问博客。至于 Trackbacks 排除，可提高流量一说，我通过试验比较法得出，同期排除 Trackbacks 的博客的流量要比不排除的博客高出12%。
以这个博客为例，它的 robots 的设置是这样的：
User-agent: * ——————允许任何搜索引擎访问
Disallow: /wp- ——————禁止搜索引擎访问wp开头的文件
Disallow: /feed/ ——————禁止搜索引擎访问feed
Disallow: /comments/feed —禁止搜索引擎访问评论下的feedDisallow: /trackback/ ———禁止搜索引擎访问trackback
这也是最通用、最简单的设置方法。
留下您的脚印