SEO診斷：透過Log日志找到網站死結
來源:SEO優化 2012-09-13
最后,給了朋友兩條建議:
1、聯系插件開發者修復此BUG;
2、刪除整個archive目錄返回404狀態碼,并且在robots中屏蔽archive目錄;
整個的診斷過程就是這樣
前幾天和一位朋友聊天,互相交換了下對8月末百度算法更新的一些看法結束的時候朋友讓我幫他分析一下他的新站,網站的問題是快照停留在8月15日,并且快20天百度沒有收錄新內容
從簡單的交談得知,網站上線2個月,每日堅持更新原創內容和外鏈自打百度收錄后,文章隔天收錄,長尾詞排名也不錯但是8月19日快照回檔到815后,快照再未更新過通過分析這個站的整體結構和內容,發現整站結構清晰明了,并沒有嚴重的結構上的問題,文章內容圖文并茂,寫的也不錯,而且長尾詞排名確實不錯,這對一個新站來說做的很不錯
為什么快照不更新,新內容不再收錄?難道是百度自身的問題,還是有其他“肉眼”看不到的癥結?這個時候想起了日志分析,有的時候只有透過內在看問題
從朋友處要來了前一天的網站LOG日志,下圖是日志分析工具得出來的蜘蛛概要截圖從圖上我們可以看到三大主流搜索引擎的蜘蛛訪問次數、停留時間和總抓取量等信息
朋友這個站屬于一個新站,外鏈不多,整個網站的資訊量也不是很大依據個人的經驗分析,蜘蛛單次抓取量(總抓取量÷訪問次數)達到80-100已經算是一個非常不錯的數字了緣何網站的新內容不收錄?
第二步,來看看網站目錄的抓取情況下圖是截取了三大主流蜘蛛目錄抓取Top3目錄的一個截圖,從圖上我們可以看到圖上的archiver目錄的抓取量遠遠超過于其他的網站目錄這個數據讓我有點不安心了
從朋友的網站了解到,這是一個每日歸檔目錄,從圖上我們可以看到的是2010年09月05日返回的當日發布內容為空(朋友這個站建站才2個多月)
通過站長工具可以看到,該URL返回的是200狀態碼此時心理大概有個底了,蜘蛛在這個目錄的爬行一定遇到了困難
為了驗證自己的判斷,通過Editplus打開了LOG文件,不出所料幾大蜘蛛在抓取archive目錄時陷入了死胡同
癥結找到了,接下來就是如何處理這個問題由于這個文檔歸檔功能是朋友購買的一款插件,所以朋友還是希望能夠保留這個每日歸檔欄目,畢竟錢花了得用到實處,不求該欄目能帶來流量但卻是個有益的補充剛開始考慮通過NOFOLLOW來屏蔽蜘蛛爬取,但是想來想去還是不妥,畢竟已經收錄的頁面還是給了蜘蛛爬行的余地,又會出現文中所說的死循環很多時候當我們網站出現問題的時候,請不妨打開你的網站LOG日志,仔細對比并分析里面的數據,將會對你找到問題的所在有很大的幫助
本文由來源www.shou68.net原創供稿,歡迎大家轉載,轉載時請保留此鏈接,謝謝合作!
文章編輯: 365webcall網頁客服(www.365webcall.com)
我的評論
| 登錄賬號： | 密碼： | 快速注冊 | 找回密碼 |  |
