做SEO每天打交道最多的就是搜索引擎放出來(lái)的小機(jī)器人，也叫搜索引擎蜘蛛，我們要做的事情就是把它們伺候好，順其意投其好。下面環(huán)球視野為你介紹下各大搜索引擎蜘蛛的特點(diǎn)。

一、各大搜索引擎蜘蛛介紹

google蜘蛛： googlebot；百度蜘蛛：baiduspider；搜狗蜘蛛：sogou spider；搜搜蜘蛛：Sosospider；yahoo蜘蛛：slurp；alexa蜘蛛：ia_archiver；msn蜘蛛：msnbot；altavista蜘蛛：scooter；lycos蜘蛛： lycos_spider_(t-rex)；alltheweb蜘蛛： fast-webcrawler；inktomi蜘蛛： slurp；有道蜘蛛：YodaoBot和OutfoxBot；熱土蜘蛛：Adminrtspider 。

二、各大搜索引擎蜘蛛的習(xí)慣

百度蜘蛛：爬謹(jǐn)慎，收錄更謹(jǐn)慎。

google蜘蛛：不太愛爬，但愛收錄。

搜搜蜘蛛：愛爬圖片，經(jīng)常繞在動(dòng)態(tài)地址里出不來(lái)。

雅虎蜘蛛：恪守規(guī)則，每次都是先爬robots.txt。

三、對(duì)于robots.txt的支持程度

google表現(xiàn)：寫了禁止就不再爬，會(huì)在谷歌站長(zhǎng)工具中列出來(lái)它想爬被你阻止了。

百度的表現(xiàn)：寫了禁止之后很少爬，但是偶爾也會(huì)爬，相信是起作用了，因?yàn)樵絹?lái)越少，以前一天幾次現(xiàn)在幾天一次。

搜狗蜘蛛：可以說(shuō)是基本不聽話，也不知道是不是不吃這個(gè)規(guī)則，說(shuō)它完全不吃它也吃了一點(diǎn)，只是把動(dòng)態(tài)地址的問(wèn)號(hào)拿掉了，然后照爬，一爬就是一大片，這不知道它能爬出什么東西。

搜搜蜘蛛跟雅虎蜘蛛好像差不多，感覺(jué)還是挺有效的，禁止之后沒(méi)有再有它爬過(guò)的痕跡。