通過內(nèi)鏈建設(shè)解決抓取頻次低的問題
上面提到建設(shè)外鏈可以吸引蜘蛛爬行,那么在蜘蛛來了以后如何更好的利用,如何讓更多的頁面url被發(fā)現(xiàn),這就牽扯到內(nèi)鏈建設(shè)。如何設(shè)置內(nèi)容提高抓取頻次,我們可以從以下幾個(gè)方面入手:
1.文章內(nèi)鏈。包括正文里的內(nèi)鏈及相關(guān)文章推薦等,這是基本的操作方式,筆者就不多說了。
2.邊欄推薦。比如說熱門閱讀、最新內(nèi)容、tag集合標(biāo)簽推薦等,頁面鏈接曝光的越多,被蜘蛛抓取的幾率就越大,這是很簡單的道理。
3.文章列表。這是需要重點(diǎn)講解,正常情況下列表里的文章都是按照時(shí)間順序倒敘排列,也就是說后發(fā)布的文章排在最前面。這里就存在一個(gè)問題,同一個(gè)文章列表下每天更新的文章有限,而分頁被蜘蛛抓取的次數(shù)會(huì)相對(duì)較多,這就浪費(fèi)了鏈接展現(xiàn)的機(jī)會(huì)。
舉個(gè)例子說明:A列表展示最新的10篇文章,每天更新的數(shù)量為5篇,蜘蛛每天爬行5次。事實(shí)上不管蜘蛛每天爬行5次還是50次,該頁面每天展現(xiàn)的新的頁面鏈接都只有5個(gè)!假如該分類頁能夠把沒有被抓取的頁面更新上來(定時(shí)或不定時(shí)都行),那情況明顯就不一樣了,每次蜘蛛來抓取都有新的頁面鏈接提交,這就大大提高了抓取頻次。
網(wǎng)站更新頻率高的網(wǎng)站更受蜘蛛青睞,想要解決網(wǎng)站抓取頻次低的問題,除了做外鏈吸引蜘蛛,更多的應(yīng)該解決站內(nèi)更新的問題。