Baiduspider - 百度蜘蛛

Baiduspider - 百度蜘蛛：

百度是怎么收錄到那么多網頁的呢？這個百度用以抓取互聯網上數以億計的網頁的程序，就叫做Baiduspider - 百度蜘蛛。

它是一個程序，廢寢忘食得在互聯網上找尋新的URL，接著抓取URL上的內容，返回到百度的網頁暫存數據庫。

百度用來抓取網頁內容的程序，叫做Baiduspider，抓取其他內容的蜘蛛，則是新的姓名：

產品名稱 對應user-agent 

網頁查找 Baiduspider
無線查找 Baiduspider-mobile 
圖片查找 Baiduspider-image 
視頻查找 Baiduspider-video 
新聞查找 Baiduspider-news 
百度搜藏 Baiduspider-favo 
百度聯盟 Baiduspider-cpro

不少朋友會在自己的網站日志里看到這個蜘蛛Baiduspider-cpro，現在咱們理解它是百度聯盟蜘蛛，用以百度聯盟程序匹配相應的廣告。

那么，其他查找引擎的蜘蛛是什么？