365建站优化分享如何用Robots.txt做网站优化
2019-5-16 21:28:21 点击：
很多新手网站优化专员每天迷茫写文章、做外链这些繁琐工作，却对Robots.txt不了解它的重要性，本文就给大家普及robots.txt文件编写知识。
Robots协议的全称是“网络爬虫排除标准”，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。搜索蜘蛛发现不存在robots.txt文件时，会产生一个404错误日志在服务器上，从而增加服务器的负担，因此为站点添加一个robots.txt文件还是网站优化很重要的。
查询Robots协议，在浏览器输入：http://域名/robots.txt/ 默认情况下会直接显示
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
这是由系统自动生成的，意思是告诉搜索引擎不要抓取后台程序文件。
下面说一下站点如何编写robots.txt文件，完整的站点robots.txt文件内容如下：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/
使用方法：新建一个名称为robots.txt文本文件，将上面的内容放进去，然后上传到网站根目录即可。
下面分别解释一下各项的作用：
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于告诉搜索引擎不要抓取后台程序文件页面。
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
禁止搜索引擎抓取评论分页等相关链接。
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
禁止搜索引擎抓取收录分类和标签的分页。
4、Disallow: /*/trackback
禁止搜索引擎抓取收录trackback等垃圾信息
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
禁止搜索引擎抓取收录feed链接。
6、Disallow: /?s=*和Disallow: /*/?s=*\
禁止搜索引擎抓取站内搜索结果
7、Disallow: /*?*
禁止搜索抓取动态页面
8、Disallow: /attachment/
禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。
以上就是用Robots.txt实现网站优化的具体操作流程，希望能够帮助到你的网站优化。
Robots协议的全称是“网络爬虫排除标准”，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。搜索蜘蛛发现不存在robots.txt文件时，会产生一个404错误日志在服务器上，从而增加服务器的负担，因此为站点添加一个robots.txt文件还是网站优化很重要的。
查询Robots协议，在浏览器输入：http://域名/robots.txt/ 默认情况下会直接显示
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
这是由系统自动生成的，意思是告诉搜索引擎不要抓取后台程序文件。
下面说一下站点如何编写robots.txt文件，完整的站点robots.txt文件内容如下：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/
使用方法：新建一个名称为robots.txt文本文件，将上面的内容放进去，然后上传到网站根目录即可。
下面分别解释一下各项的作用：
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于告诉搜索引擎不要抓取后台程序文件页面。
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
禁止搜索引擎抓取评论分页等相关链接。
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
禁止搜索引擎抓取收录分类和标签的分页。
4、Disallow: /*/trackback
禁止搜索引擎抓取收录trackback等垃圾信息
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
禁止搜索引擎抓取收录feed链接。
6、Disallow: /?s=*和Disallow: /*/?s=*\
禁止搜索引擎抓取站内搜索结果
7、Disallow: /*?*
禁止搜索抓取动态页面
8、Disallow: /attachment/
禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。
以上就是用Robots.txt实现网站优化的具体操作流程，希望能够帮助到你的网站优化。
- 上一篇：如何通过seo数据报告快速有效地确定网站的健康状况 2019/5/16
- 下一篇：百度SEO优化需要做哪些数据诊断分析 2019/5/16
