基于WordPress站点构建正确的robots.txt

以前参照文章制定了自己的robots.txt,优化Robots.txt提升你的WordPress收录,感觉还是臃肿,看了知更鸟的文章,决定修改如下:

  1. User-agent: *
    
  2. Disallow: /wp-admin/
    
  3. Disallow: /wp-content/
    
  4. Disallow: /wp-includes/
    
  5. Disallow: /pagephoto/
    
  6. Disallow: /img/
    
  7. Disallow: /*/comment-page-*
    
  8. Disallow: /*?replytocom=*
    
  9. Disallow: /category/*/page/
    
  10. Disallow: /tag/*/page/
    
  11. Disallow: /*/trackback
    
  12. Disallow: /feed
    
  13. Disallow: /*/feed
    
  14. Disallow: /comments/feed
    
  15. Disallow: /?s=*
    
  16. Disallow: /*/?s=*\
    
  17. Disallow: /attachment/
    
  18. Sitemap: http://www.511yj.com/sitemap_baidu.xml

注意:
1、Disallow:后是有空格的
2、文本文件的最后不要有空格
3、修改好后到百度站长平台robots工具,检测一下有没有错误。


发布日期:

所属分类: 网站运营 SEO 标签: