蜘蛛

2022-3-24

搜索引擎蜘蛛是搜索引擎抓取网页的程序,准确的叫“搜索引擎机器人”。
那为什么叫蜘蛛呢?这是因为搜索引擎的程序抓取互联网上的网页的时候,是顺着网页上的超链接进行的,从这个网页到另一个网页,从这个网站通过超链接到另一个网站,跟蜘蛛的爬行是一样的。所以互联网人员就把搜索引擎抓取网页的程序称为“蜘蛛”。
在互联网世界里,有很多个搜索引擎,每个搜索引擎都有各自的抓取程序——蜘蛛:

百度蜘蛛:Baiduspider
谷歌蜘蛛:Googlebot
360蜘蛛:360Spider
搜狗蜘蛛:Sogou News Spider、Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider
SOSO蜘蛛:Sosospider
雅虎蜘蛛:Yahoo! Slurp China
有道蜘蛛:YoudaoBot或者YodaoBot
MSN蜘蛛:msnbot-media
必应蜘蛛:bingbot。


马上咨询
上一篇:

准备好流量、潜在客户和利润的增长了吗