史上最全面的百度蜘蛛詳解 你不得不看！

一、什么是Baiduspider?

Baiduspider是百度查找引擎的一個自動程序，它的作用是拜訪互聯網上的網頁，樹立索引數據庫，運用戶能在百度查找引擎中查找到您網站上的網頁。

二、Baiduspider的user-agent是什么?

百度各個產品運用不同的user-agent：

產品名稱 對應user-agent

無線查找 Baiduspider

圖片查找 Baiduspider-image

視頻查找 Baiduspider-video

新聞查找 Baiduspider-news

百度搜藏 Baiduspider-favo

百度聯盟 Baiduspider-cpro

商務查找 Baiduspider-ads

網頁以及其他查找 Baiduspider

三、Baiduspider對一個網站效勞器形成的拜訪壓力怎么?

為了達到對方針資源較好的檢索作用，Baiduspider需求對您的網站堅持一定量的抓取。咱們盡量不給網站帶來不合理的擔負，并會依據效勞器承受能力，網站質量，網站更新等歸納因素來進行調整。假如您覺得baiduspider的拜訪行為有任何不合理的狀況，您可以反應至百度投訴渠道。

四、為什么Baiduspider不斷的抓取我的網站?

對于您網站上新產生的或許繼續更新的頁面，Baiduspider會繼續抓取。此外，您也可以查看網站拜訪日志中Baiduspider的拜訪是否正常，以避免有人歹意假充Baiduspider來頻頻抓取您的網站。 假如您發現Baiduspider非正常抓取您的網站，請經過投訴渠道反應給咱們，并請盡量給出Baiduspider對貴站的拜訪日志，以便于咱們盯梢處理。

五、怎么判別是否假充Baiduspider的抓取?

建議您運用DNS反查辦法來斷定抓取來歷的ip是否歸于百度，依據渠道不同驗證辦法不同，如linux/windows/os三種渠道下的驗證辦法別離如下：

1，在linux渠道下，您可以運用host ip指令反解ip來判別是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格局命名，非 *.baidu.com 或 *.baidu.jp 即為假充。

$ host 123.125.66.120

120.66.125.123.in-addr.arpa domain name pointer

baiduspider-123-125-66-120.crawl.baidu.com.

host 119.63.195.254

254.195.63.119.in-addr.arpa domain name pointer

BaiduMobaider-119-63-195-254.crawl.baidu.jp.

2，在windows渠道或許IBM OS/2渠道下，您可以運用nslookup ip指令反解ip來 判別是否來自Baiduspider的抓取。翻開指令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip， 來判別是否來自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格局命名，非 *.baidu.com 或 *.baidu.jp 即為假充。

3，在mac os渠道下，您可以運用dig 指令反解ip來 判別是否來自Baiduspider的抓取。翻開指令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip，來判別是否來自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格局命名，非 *.baidu.com 或 *.baidu.jp 即為假充。

六、我不想我的網站被Baiduspider拜訪，我該怎么做?

Baiduspider恪守互聯網robots協議。您可以使用robots.txt文件徹底制止Baiduspider拜訪您的網站，或許制止Baiduspider拜訪您網站上的部分文件。 留意：制止Baiduspider拜訪您的網站，將使您的網站上的網頁，在百度查找引擎以及一切百度供給查找引擎效勞的查找引擎中無法被查找到。關于robots.txt的寫作辦法，請參看咱們的介紹：robots.txt寫作辦法

您可以依據各產品不同的user-agent設置不同的抓取規矩，假如您想徹底制止百度一切的產品錄入，可以直接對Baiduspider設置制止抓取。

以下robots完成制止一切來自百度的抓?。?/p>

User-agent: Baiduspider

Disallow: /

以下robots完成制止一切來自百度的抓取但答應圖片查找抓取/image/目錄：

User-agent: Baiduspider

Disallow: /

User-agent: Baiduspider-image

Allow: /image/

請留意：Baiduspider-cpro抓取的網頁并不會建入索引，僅僅履行與客戶約好的操作，所以不恪守robots協議，假如Baiduspider-cpro給您形成了困擾，請聯絡。

Baiduspider-ads抓取的網頁并不會建入索引，僅僅履行與客戶約好的操作，所以不恪守robots協議，假如Baiduspider-ads給您形成了困擾，請聯絡您的客戶效勞專員。

七、為什么我的網站現已加了robots.txt，還能在百度查找出來?

因為查找引擎索引數據庫的更新需求時刻。盡管Baiduspider現已中止拜訪您網站上的網頁，但百度查找引擎數據庫中現已樹立的網頁索引信息，可能需求數月時刻才會鏟除。別的也請查看您的robots配置是否正確。

假如您的回絕被錄入需求十分急切，也可以經過投訴渠道反應懇求處理。

八、我期望我的網站內容被百度索引但不被保存快照，我該怎么做?

Baiduspider恪守互聯網meta robots協議。您可以使用網頁meta的設置，使百度顯現只對該網頁建索引，但并不在查找成果中顯現該網頁的快照。

和robots的更新一樣，因為查找引擎索引數據庫的更新需求時刻，所以盡管您現已在網頁中經過meta制止了百度在查找成果中顯現該網頁的快照，但百度查找引擎數據庫中假如現已樹立了網頁索引信息，可能需求二至四周才會在線上收效。

九、Baiduspider抓取形成的帶寬阻塞?

Baiduspider的正常抓取并不會形成您網站的帶寬阻塞，形成此現象可能是因為有人假充Baiduspider歹意抓取。假如您發現有名為Baiduspider的agent抓取而且形成帶寬阻塞，請趕快和咱們聯絡。您可以將信息反應至投訴渠道，假如可以供給您網站該時段的拜訪日志將更加有利于咱們的剖析。