經過剖析網站日志Log文件我們能夠看到用戶和搜索引擎蜘蛛拜訪網站的行為數據，這些數據能讓我們剖分出用戶和蜘蛛對網站的偏好以及網站的健康狀況。在網站日志剖析中，我們首要需求剖析的是蜘蛛行為。
在蜘蛛爬取及錄入過程中，搜索引擎會給特定權重網站分配相應的資源量。一個搜索引擎友愛型的網站應該充分利用這些資源，讓蜘蛛能夠敏捷、精確、全面的爬取有價值、用戶喜愛的內容，而不浪費資源在無用的、拜訪反常的內容上。
但由于網站日志中數據量過大，所以我們一般需求憑借網站日志剖析東西來查看。常用的日志剖析東西有：光年日志剖析東西、web log exploer。
在剖析日志時，關于單日日志文件我們需求剖析的內容有：拜訪次數、逗留時刻、抓取量、目錄抓取計算、頁面抓取計算、蜘蛛拜訪IP、HTTP狀況碼、蜘蛛活潑時段、蜘蛛爬取途徑等；關于多日日志文件我們需求剖析的內容有：蜘蛛拜訪次數趨勢、逗留時刻趨勢、全體抓取趨勢、各目錄抓取趨勢、抓取時刻段、蜘蛛活潑周期等。
下面我們來看看網站日志怎么剖析？
網站日志數據剖析解讀：
1、拜訪次數、逗留時刻、抓取量
從這三項數據中我們能夠得知：均勻每次抓取頁面數、單頁抓取逗留時刻和均勻每次逗留時刻。
均勻每次抓取頁面數=總抓取量/拜訪次數
單頁抓取逗留=每次逗留/每次抓取
均勻每次逗留時刻=總逗留時刻/拜訪次數
從這些數據我們能夠看出蜘蛛的活潑程度、親和程度、抓取深度等，總拜訪次數、逗留時刻、抓取量越高、均勻抓取頁面、均勻逗留時刻，標明網站越受搜索引擎喜愛。而單頁抓取逗留時刻標明網站頁面拜訪速度，時刻越長，標明網站拜訪速度越慢，對搜索引擎抓取錄入較晦氣，我們應盡量進步網頁加載速度，削減單而立逗留時刻，讓爬蟲資源更多的去抓取錄入。
別的，依據這些數據我們還能夠計算出一段時刻內，網站的全體趨勢體現，如：蜘蛛拜訪次數趨勢、逗留時刻趨勢、抓取趨勢。
2、目錄抓取計算
經過日志剖析我們能夠看到網站哪些目錄受蜘蛛喜愛、抓取目錄深度、重要頁面目錄抓取狀況、無效頁面目錄抓取狀況等。經過比照目錄下頁面抓取及錄入狀況，我們能夠發現更多問題。關于重要目錄，我們需求經過表里調整添加權重及爬??；關于無效頁面，在robots.txt中進行屏蔽。
別的，經過多日日志計算，我們能夠看到站表里行為給目錄帶來的作用，優化是否合理，是否達到了預期作用。關于同一目錄，以長時刻時刻段來看，我們能夠看到該目錄下頁面體現，依據行為估測體現的原因等。
3、頁面抓取
在網站日志剖析中，我們能夠看到具體被蜘蛛爬取的頁面。在這些頁面中，我們能夠剖分出蜘蛛爬取了哪些需求被制止爬取的頁面、爬取了哪些無錄入價值頁面、爬取了哪些重復頁面url等，為充分利用蜘蛛資源我們需求將這些地址在robots.txt中制止爬取。
別的，我們還能夠剖析未錄入頁面原因，關于新文章，是由于沒有被爬取到而未錄入抑或爬取了但未放出。關于某些閱覽含義不大的頁面，可能我們需求它作為爬取通道，關于這些頁面，我們是否應該做Noindex標簽等。但從另一方面講，蜘蛛會弱智到靠這些無含義的通道頁爬取頁面嗎，蜘蛛不懂sitemap？【對此，筆者有疑惑，求共享經歷】
4、蜘蛛拜訪IP
早年有人提出過經過蜘蛛的ip段來判別網站的降權狀況，笨鳥感覺這個含義不大，由于這個后知性太強了。并且降權更多應該早年三項數據來判別，用單單一個ip段來判別含義不大。IP剖析的更多用途應該是判別是否存在收集蜘蛛、假蜘蛛、歹意點擊蜘蛛等。
5、拜訪狀況碼
蜘蛛經常呈現的狀況碼如301、404等，呈現這些狀況碼要及時處理，以防止對網站造成壞的影響。
6、抓取時刻段
經過剖析比照多個單日蜘蛛小時爬取量，我們能夠了解到特定蜘蛛關于本網站在特定時刻的活潑時段。經過比照周數據，我們能夠看到特定蜘蛛在一周中的活潑周期。了解這個，關于網站內容更新時刻有必定指導含義，而之前所謂小三大四等均為不科學說法。
7、蜘蛛爬取途徑
在網站日志中我們能夠盯梢到特定IP的拜訪途徑，如果我們盯梢特定蜘蛛的拜訪途徑則能發現關于本網站結構下蜘蛛的爬取途徑偏好。由此，我們能夠恰當的引導蜘蛛的爬取途徑，讓蜘蛛更多的爬取重要、有價值、新更新頁面。其間爬取途徑中我們雙能夠剖析頁面物理結構途徑偏好以及url邏輯結構爬取偏好。經過這些，能夠讓我們從搜索引擎的視角去審視自己的網站。
|
咨詢服務熱線：400-099-8848
