最全:各大搜索引擎爬虫名称及作用

192103463224960.png

通常搜索引擎抓取网页的方式就是通过搜索引擎的特定程序工具,去访问、索引互联网上的各个网站内容。

这类程序被称为:搜索机器人(Robot)、网络蜘蛛(spider)、爬虫(Web Crawler)…等等。

各大搜索引擎爬虫名称及作用如下:

Google

Googlebot:Google对一般网页的索引程序。

Googlebot-Mobile:Google对于移动设备,如手机网页的索引程序。

Googlebot-Image:Google专门用来抓取图片的程序。

Mediapartners-Google:为放置了Google Adsense广告联盟代码的网站使用的专用抓取程序,只针对放置了Google Adsense代码的网站。这个爬虫的作用是专门抓取Adsense广告内容。

Adsbot-Google:这是Google专门为Google Adwords客户设计的蜘蛛,如果你使用了Google的Adwords服务,那么这个蜘蛛就会派出这个蜘蛛来衡量放置了你广告的网站的质量。

 

百度

Baiduspider:百度的综合索引蜘蛛。

 

360

360Spider:360综合搜索爬虫

 

雅虎

Yahoo! Slurp:雅虎的综合索引爬虫程序。

Yahoo!-AdCrawler:雅虎专门为Yahoo!搜索引擎广告开发的专用蜘蛛。

 

有道

YodaoBot:有道搜索引擎综合索引蜘蛛

 

腾讯SOSO

Sosospider:腾讯SOSO综合索引蜘蛛

 

搜狗

sogou spider:搜狗综合索引蜘蛛

 

MSN
MSNBot:Live综合索引蜘蛛

 

       对于搜索引擎的蜘蛛,可以通过robots.txt文件进行一定访问规范和限制。

       而且并非所有的机器人都是无害的,有一些非法机器人伪装成主流搜索引擎漫游器对网站大量遍历,并且不遵循robots.txt规范,会严重拖垮网站性能。因此,网站管理员需要验证每个机器人身份是否合法。

       建议通过DNS反向查询找出搜索引擎机器人IP地址对应的主机名称;用主机名查找IP地址以确认该主机名与IP地址匹配。


发布时间:2017-8-12 12:52 Saturday
  • 版权声明:除非注明,文章均为【皇朝博客网 - 集合网络各类精品资源 技术教程 各种珍藏福利的精品网站。】原创,欢迎转载!转载请注明本文地址,谢谢!

  • 作者:皇朝博客网 - 集合网络各类精品资源 技术教程 各种珍藏福利的精品网站。

    有没有那么一瞬间,想起好多人,回望身后,才发现错过好多人,错过好多事,错过好多好多。所以我现在努力珍惜留在我身边的人,我也曾试着去找回我失去的朋友,同学,等等,但都物是人非,以前我真的懒,聊天总是觉得无聊,觉得每天就那几句,吃了没,在干什么,等等,觉得毫无营养的话题。其实这只是借口,每天总有你能挤出来几分钟,哪怕随便聊聊,也不至于到现在,想找个人聊天,打电话都不知道找谁。其实,这也是维持友情,爱情,等关系的基础,现在想起来,晚了。总有那么几次你会有惊喜的事,悲伤的事,和他/她分享,总有那么一瞬间,你想找人

    返回列表
    上一篇:
    下一篇:

    发表评论

    快捷回复: