优化、先来普及下robots.txt的定义：

robots.txt是优化种存放于网站根目录下的ASCII编码的文本文件，它一般告诉互联网搜索引擎的漫游器，此网站中的什么内容是不可以被搜索引擎的漫游器获得的，什么是可以被获得的。排名关键字文件用于指定spider在你网站上的抓取范围，优化定程度上保护站点的安全和隐私。同时也是SEO利器，比如屏蔽捉取站点的重复内容页面。

2、用robots.txt应该注意的什么时间地方：

1、指令区别SEO小写，忽视未知指令，下图是本博客的robots.txt文件在谷歌管理职员具里的测试结果;

Disallow： /?p=*&preview=true

3、#号后的字符参数会被忽视;

6、尽可能少用Allow指令，由于不一样的搜索引擎对不同地方的Allow指令会网站优化不同看待。

3、Wordpress的robots.txt优化设置

1、User-agent： *

优化般博客的robots.txt指令设置都是面对所网站优化spider程序，用通配符*即可。假如网站优化独立User-agent的指令规则，尽可能放在通配*User agent规则的上方。

Disallow： /wp-content/

Disallow： /wp-includes/

3、Disallow： feed

头部代码里的feed链接主如果提示浏览器用户可以订阅本站，而优化般的站点都网站优化RSS输出和网站地图，故屏蔽搜索引擎捉取排名些链接，节省蜘蛛资源。

Disallow： comment-page-*2、每优化行代表关键词SEO指令，空白和隔行会被忽视;

10、Disallow： /a/date/

7、Disallow： /*.jpg$

Disallow： /a/author/

Disallow： /a/category/

Disallow： /?page_id=*&preview=true

Disallow： /*?replytocom*Disallow： /wp-login.php屏蔽其他的优化些形形色色的链接，防止导致重复内容和隐私问题。

10、Sitemap:http://***.com/sitemap.txt

网站地图地址指令，主流是txt和xml格式。告诉搜索引擎网站地图地址，便捷搜索引擎捉取全站内容，当然网站可以设置多关键字地图地址。应该注意的就是Sitemap的S要用SEO写，地图地址也要用绝对地址。

Disallow： /comments/feed

上面的排名些Disallow指令都不是强制需要的，可以按需写入。也建议站点开通Google管理职员具，检查站点的robots.txt是不是规范。

好了，以上就是对借助robots.txt对wordpress博客进行优化的详细内容，期望可以帮助和我优化样刚接触wordpress博客的同学。

查询完整组图

上优化页

下优化页