最全:各大搜索引擎爬虫名称及作用

192103463224960.png

通常搜索引擎抓取网页的方式就是通过搜索引擎的特定程序工具,去访问、索引互联网上的各个网站内容。

这类程序被称为:搜索机器人(Robot)、网络蜘蛛(spider)、爬虫(Web Crawler)…等等。

各大搜索引擎爬虫名称及作用如下:

Google

Googlebot:Google对一般网页的索引程序。

Googlebot-Mobile:Google对于移动设备,如手机网页的索引程序。

Googlebot-Image:Google专门用来抓取图片的程序。

Mediapartners-Google:为放置了Google Adsense广告联盟代码的网站使用的专用抓取程序,只针对放置了Google Adsense代码的网站。这个爬虫的作用是专门抓取Adsense广告内容。

Adsbot-Google:这是Google专门为Google Adwords客户设计的蜘蛛,如果你使用了Google的Adwords服务,那么这个蜘蛛就会派出这个蜘蛛来衡量放置了你广告的网站的质量。

 

百度

Baiduspider:百度的综合索引蜘蛛。

 

360

360Spider:360综合搜索爬虫

 

雅虎

Yahoo! Slurp:雅虎的综合索引爬虫程序。

Yahoo!-AdCrawler:雅虎专门为Yahoo!搜索引擎广告开发的专用蜘蛛。

 

有道

YodaoBot:有道搜索引擎综合索引蜘蛛

 

腾讯SOSO

Sosospider:腾讯SOSO综合索引蜘蛛

 

搜狗

sogou spider:搜狗综合索引蜘蛛

 

MSN
MSNBot:Live综合索引蜘蛛

 

       对于搜索引擎的蜘蛛,可以通过robots.txt文件进行一定访问规范和限制。

       而且并非所有的机器人都是无害的,有一些非法机器人伪装成主流搜索引擎漫游器对网站大量遍历,并且不遵循robots.txt规范,会严重拖垮网站性能。因此,网站管理员需要验证每个机器人身份是否合法。

       建议通过DNS反向查询找出搜索引擎机器人IP地址对应的主机名称;用主机名查找IP地址以确认该主机名与IP地址匹配。


发布时间:2017-8-12 12:52 Saturday
  • 版权声明:除非注明,文章均为【皇朝博客网 - 集合网络各类精品资源 技术教程 各种珍藏福利的精品网站。】原创,欢迎转载!转载请注明本文地址,谢谢!

  • 作者:皇朝博客网 - 集合网络各类精品资源 技术教程 各种珍藏福利的精品网站。

    某人网络 - 旗下网站:皇朝博客网,资源导航网,淘劵网,二级域名分发网,表白网,等等

    返回列表
    上一篇:
    下一篇:

    发表评论

    快捷回复: