基于WordPress站点构建正确的robots.txt-511遇见

百度搜索Spider3.0升级 后我个别网页发现抓取的更新不是特别及时，很少着急，这和“抓取更实时，收录效率更快，对原创优质内容更青睐。”怎么背道而驰呢，开始怀疑自己的robots.txt出了问题，看了你个知名网站的robots.txt文件，想了想自己的网站是基于WordPress站点的，还是要遵循一下wordpress官方的要求和WordPress的目录结构来正确合理的设置robots.txt文件。

以前参照文章制定了自己的robots.txt,优化Robots.txt提升你的WordPress收录,感觉还是臃肿，看了知更鸟的文章，决定修改如下：

```
User-agent: *
```
```
Disallow: /wp-admin/
```
```
Disallow: /wp-content/
```
```
Disallow: /wp-includes/
```
```
Disallow: /pagephoto/
```
```
Disallow: /img/
```
```
Disallow: /*/comment-page-*
```
```
Disallow: /*?replytocom=*
```
```
Disallow: /category/*/page/
```
```
Disallow: /tag/*/page/
```
```
Disallow: /*/trackback
```
```
Disallow: /feed
```
```
Disallow: /*/feed
```
```
Disallow: /comments/feed
```
```
Disallow: /?s=*
```
```
Disallow: /*/?s=*\
```
```
Disallow: /attachment/
```

Sitemap: https://www.511yj.com/sitemap_baidu.xml

注意：
1、Disallow:后是有空格的
2、文本文件的最后不要有空格
3、修改好后到百度站长平台robots工具，检测一下有没有错误。

分享到：

用微信扫一扫，分享给朋友