免費(fèi)參與·100+跨境活動 
免費(fèi)下載·4000+跨境資料 
免費(fèi)學(xué)習(xí)·2000+直播課程 
免費(fèi)加入·15萬+賣家交流群 
2019-08-23 14:24
優(yōu)化電商網(wǎng)站的抓取預(yù)算，可能會影響谷歌的網(wǎng)絡(luò)爬蟲訪問制定頁面的頻率，這也意味著更新內(nèi)容會更快地出現(xiàn)在谷歌搜索結(jié)果中。對于谷歌來說，抓取預(yù)算也就是該公司的搜索引擎爬蟲Googlebot能夠并想要抓取的指定站點(diǎn)上的頁面數(shù)量。Googlebot在業(yè)內(nèi)也稱為谷歌機(jī)器人或探測器，被用來抓取網(wǎng)站內(nèi)容，然后再將其編入到索引數(shù)據(jù)庫中。
需要注意的是，Googlebot抓取網(wǎng)站頁面的頻率并不影響該頁面在指定搜索查詢中的排名。但優(yōu)化抓取預(yù)算可能會引導(dǎo)Googlebot發(fā)現(xiàn)網(wǎng)站上較為重要的內(nèi)容。反過來，這可能會影響其中一些頁面的排名，尤其是在沒有索引的情況下。
2017年，谷歌的研究人員Gary Illyes描述了谷歌是如何決定一個指定網(wǎng)站的抓取預(yù)算的，即包含三個部分：抓取限制、抓取需求和其他因素。
抓取限制——為了不降低用戶訪問網(wǎng)站的體驗(yàn)，谷歌限制了指定網(wǎng)站的最大抓取頻率，如果有跡象表明Googlebot正在影響網(wǎng)站的性能，它就會放慢抓取速度，減少訪問網(wǎng)站頁面的頻率。這可能意味著有些頁面根本沒有索引，相反，如果Googlebot得到服務(wù)器的快速響應(yīng)，它可能會增加訪問的頻率和強(qiáng)度。
抓取需求——即使抓取速度沒有受到限制，如果沒有索引的需求，Googlebot的活躍程度也會降低。索引需求可以采取兩種形式，對于流行的網(wǎng)站而言，谷歌會想要確保它已經(jīng)索引到了最新的內(nèi)容。
其次，谷歌不希望索引陳舊。因此如果Googlebot訪問一個站點(diǎn)已經(jīng)有一段時間了，即使它不受歡迎，也會有相對較大的抓取需求。
其他因素——內(nèi)容質(zhì)量和網(wǎng)站結(jié)構(gòu)也很重要。建議避免低質(zhì)量的內(nèi)容、某些類型的分面導(dǎo)航、重復(fù)或類似的內(nèi)容。低質(zhì)量的頁面將會消耗抓取預(yù)算的很大一部分，這將搶占網(wǎng)站上的有價值的頁面抓取活動。
用于優(yōu)化抓取預(yù)算的方法也有助于搜索引擎的優(yōu)化。以下是五個技巧，可以幫助你的電商網(wǎng)站優(yōu)化爬行預(yù)算。即使你的網(wǎng)站沒有抓取預(yù)算問題，這些方法也同樣有利于SEO。
1、優(yōu)先考慮Googlebot抓取的內(nèi)容。讓Googlebot屏蔽網(wǎng)站的部分內(nèi)容，例如一些政策頁面、感謝頁面、廣告著陸頁等等。反之，盡可能的增加包含在谷歌索引中的產(chǎn)品頁面數(shù)量。因此，使用robots.txt和nofollow指令可能對爬行預(yù)算優(yōu)化大有幫助。
2、確保擁有一個優(yōu)秀的網(wǎng)站地圖。網(wǎng)站地圖是谷歌發(fā)現(xiàn)URL的主要方式之一。雖然不能保證谷歌會抓取或索引指定的頁面，但是網(wǎng)站地圖可以為你提供幫助。你的網(wǎng)站地圖應(yīng)該是一致的，對于大型網(wǎng)站而言則應(yīng)該是動態(tài)的。
3、減少錯誤和重定向鏈。當(dāng)Googlebot訪問網(wǎng)站上的一個頁面時，會收到一個狀態(tài)碼200（意思是一切正常）或者一個永久重定向碼301。但是要確保一個重定向不會導(dǎo)致鏈中的另一個重定向。
4、提高網(wǎng)站性能。如果谷歌機(jī)器人密集地抓取服務(wù)器，則說明其效率正在下降，那么它的速度就會減慢，在這種情況下，在指定時間內(nèi)抓取的URL數(shù)量肯定會減少，因此提高網(wǎng)站性能與爬行預(yù)算優(yōu)化密不可分。
5、保持更新。應(yīng)該定期更新和整理，為產(chǎn)品細(xì)節(jié)頁面、博客文章和陳舊的內(nèi)容增加新內(nèi)容。
（編譯/雨果網(wǎng) 宋淑湲）
【特別聲明】未經(jīng)許可同意，任何個人或組織不得復(fù)制、轉(zhuǎn)載、或以其他方式使用本網(wǎng)站內(nèi)容。轉(zhuǎn)載請聯(lián)系：editor@cifnews.com
