百度抓取頻次多少次是正常的
百度蜘蛛抓取頻次是根據(jù)網(wǎng)站的內(nèi)容量來(lái)的,簡(jiǎn)單的來(lái)說(shuō),如果網(wǎng)站的內(nèi)容多那么抓取頻次就高;如果網(wǎng)站的內(nèi)容少,那么百度抓取的頻次就低。
很多站長(zhǎng)認(rèn)為百度抓取頻率越高對(duì)網(wǎng)站越好,其實(shí)這是一種誤會(huì)。百度抓取頻率與網(wǎng)站的類型和質(zhì)量有很多關(guān)系,比如,你經(jīng)營(yíng)的是流量站,其盈利方式來(lái)自網(wǎng)站流量,那么這樣的網(wǎng)站需要有很多內(nèi)容,百度抓取頻率會(huì)很高。但是如果你經(jīng)營(yíng)一個(gè)企業(yè)站,每天不產(chǎn)生很多內(nèi)容,那么這樣的網(wǎng)站百度抓取頻率就會(huì)降低。
網(wǎng)站抓取頻率高的原因分析;
1、百度在抓取頻次高的那天做了更新;
2、百度爬行了大量無(wú)效頁(yè)面,這些無(wú)效頁(yè)面可以被機(jī)器人屏蔽。
3、網(wǎng)站結(jié)構(gòu)不合理,導(dǎo)致蜘蛛爬行循環(huán),爬取不暢;如果我們只是偶爾出現(xiàn)了抓取頻次過(guò)高的現(xiàn)象就是大家不需要擔(dān)心,這有可能是企業(yè)網(wǎng)站更新了大量的內(nèi)容,觀察一段時(shí)間,一般過(guò)幾天就會(huì)恢復(fù)正常(正常的概念是與平時(shí)抓取的頻次差不多)。如果他們經(jīng)常忽高忽低,可以通過(guò)網(wǎng)站系統(tǒng)日志看一下百度蜘蛛是不是爬取了很多都是無(wú)效的鏈接,如果有,請(qǐng)先用robots.txt屏蔽,再去百度站長(zhǎng)平臺(tái)更新一下robots文件。