欢迎来到

随州网站建设

,我们是专业团队。

网站地图
随州网站建设

当前位置:主页 > 知识中心 > 网站优化 >

知识中心
推荐阅读文章
联系我们
  • 随州阡陌网络科技公司
  • 联系人:邱经理
  • 电话:15172760788
  • QQ:744557041
  • 地址:随州市金夏世纪城1408室(老火车站对面全友家私)

随州网站优化详解robots文件

作者:随州网站优化 时间:2018-05-28

很多新手站长常常不知道robots文件,更加不了解robots文件对于网站的作用。今天,随州网站优化就给大家详细解释一下什么是robots文件,以及robots文件的创建以及作用。
robots文件是什么?

robots是网站与蜘蛛沟通的重要渠道,网站通过robots文件声明该网站中什么可以被搜索引擎抓取,什么不想要搜索引擎抓取,robots文件可以对蜘蛛作出一种 约束。特别需要注意的是,如果您希望网站全部文件都被蜘蛛抓取,可以不用建立robots文件,只有当您有文件不想被抓取时,才需要建立robots文件。
robots文件怎么创建?
robots文件的创建非常简单,可以用简单的文本文档创建,其文件后缀也是txt文件。重要的是robots的语法。robots有四个命令分别是:User-agent;Disallow;Allow;Sitemap。
User-agent: 是定义搜索引擎的,User-agent: *,*代表所有搜索引擎,User-agent: Baiduspider,表示允许百度蜘蛛爬取某些文件,

Disallow:是限制蜘蛛不能爬取某些文件,比如Disallow:/a/表示蜘蛛不能爬取a目录下的所有文件,Disallow:/a/1.html仅表示蜘蛛不能爬取a目录下的1.html文件,其他文件可以正常爬取
Allow:是允许蜘蛛爬取某个文件,Allow:/a/代表允许蜘蛛爬取a目录下的所有文件。此命令一般不常用。
Sitemap:是告诉蜘蛛这个页面是网站地图。
我们来看看几个网站的robots文件的写法

这是淘宝网的robots文件,User-agent:*表示允许所有蜘蛛爬取。Disallow:/表示不允许蜘蛛抓取任何文件。

这是百度的robots文件,比较长,我们选取两个简单介绍下。

User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/

这一段表示不允许百度蜘蛛抓取baidu、s?、ulink?、link?、hone/news/data/这些文件的所有内容。

User-agent: Googlebot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/

这一段表示不允许谷歌蜘蛛抓取baidu、s?、shifen、homepage、cpro、ulink?、link?、hone/news/data/这些文件。
通过以上两段的解释。我们能够看出可以对每个搜索引擎的蜘蛛分别进行限制,也可以一次性全部进行限制,这取决于网站站长个人需求。
robots的作用一般有四点

1、保护网站安全。
2、节省流量。
3、禁止搜索引擎爬取我们不希望展现的页面。
4、引导蜘蛛爬取网站地图。
几种常见的蜘蛛名称

1、百度蜘蛛:Baiduspider,2、谷歌蜘蛛:Googlebot,3、360蜘蛛:360Spider,4、搜狗蜘蛛:Sogou web Spider(sogou蜘蛛分类较多),5、有道蜘蛛:YoudaoBot,YodaoBot,6、必应蜘蛛:bingbot

以上内容由随州网站优化整理发布,需要转载请联系QQ:958395781.