(一)避免網(wǎng)站重復(fù)頁(yè)面的收錄。

　　如果各位站長(zhǎng)有閱讀過百度優(yōu)化手冊(cè)的話，相信都會(huì)記得其中有一條標(biāo)明對(duì)網(wǎng)站重復(fù)頁(yè)面的信息，也就是說同一個(gè)域名下存在兩個(gè)不同URL地址，但是頁(yè)面是完全相同，那么這時(shí)候搜索引擎只會(huì)在兩個(gè)url下選擇其一。而搜索引擎并不能夠從根本上區(qū)分要收錄兩個(gè)頁(yè)面中的哪一個(gè)，那么這個(gè)時(shí)候也就造成了網(wǎng)站重復(fù)頁(yè)面被蜘蛛抓取，搜索引擎收錄。雖然這樣的做法確實(shí)可以提升我們網(wǎng)站的收錄，但是最終的結(jié)果也是必然被搜索引擎剔除，這個(gè)時(shí)候就很容易的造成我們收錄上面的大波動(dòng)。并且如果網(wǎng)站中存在大量重復(fù)內(nèi)容頁(yè)面的話，也很容易會(huì)被搜索引擎認(rèn)定為采用作弊手法，所以對(duì)網(wǎng)站的發(fā)展是極為不利的，嚴(yán)重者可能會(huì)直接被降權(quán)、被K。如果您網(wǎng)站存在大量的重復(fù)頁(yè)面的話，這時(shí)候可以通過robots進(jìn)行屏蔽這樣重復(fù)頁(yè)面的鏈接就OK了。

　　(二)避免一些不友好頁(yè)面的收錄。 

　　在很多的時(shí)候，相信很多站長(zhǎng)會(huì)遇到這樣一種兩難的局面，網(wǎng)站的某些文章質(zhì)量低下，但是卻能夠得到用戶的喜愛，雖然搜索引擎不喜歡它，那么這個(gè)時(shí)候我們就需要采用一些適當(dāng)?shù)钠帘问址?，來讓搜索引擎無法抓取收錄。就舉一個(gè)我們比較常見的例子吧，我們會(huì)發(fā)現(xiàn)很多的地方門戶都存在一個(gè)廣告模塊，專為一些商家用戶提供的，這個(gè)模塊方便用戶發(fā)布廣告信息，也方法一些買家用戶獲取到廣告信息，然而對(duì)于搜索引擎而講，廣告信息就屬于垃圾信息，因?yàn)橐话愕膹V告都是商家直接復(fù)制過來的，其中還有可能存在大量的鏈接，雖然這樣的頁(yè)面用戶是可以接受的，但是搜索引擎是無法接受的，所以面對(duì)這樣情況的時(shí)候我們只能夠很好的衡量用戶體驗(yàn)和優(yōu)化的情況下，盡可能的保留這樣頁(yè)面，另一方面就是盡可能屏蔽這些頁(yè)面讓蜘蛛無法抓取。

　　(三)避免網(wǎng)站死鏈的收錄。

　　對(duì)于一個(gè)網(wǎng)站的運(yùn)營(yíng)發(fā)展而言，存在一些死鏈接是非常正常的事情，就比如說我們?cè)趧h除某一個(gè)欄目或者某篇文章的情況下，無論這些頁(yè)面是否已經(jīng)被搜索引擎所收錄，我們都是需要去進(jìn)行屏蔽工作的。也許這時(shí)候很多人就不解了，被收錄的屏蔽也就算了，為什么那些沒有收錄的頁(yè)面也要進(jìn)行屏蔽呢?其實(shí)原因是很簡(jiǎn)單的，因?yàn)樵诤芏鄷r(shí)候搜索引擎是已經(jīng)收錄了這些頁(yè)面，只不過是收錄了還沒有放出來，需要在下一次或者某一階段下才能夠放出，所以對(duì)于無論收錄與否的頁(yè)面，我們都是需要進(jìn)行屏蔽的哦，當(dāng)然也是可以直接采用404頁(yè)面來進(jìn)行處理的哦。

　　(四)避免一些不必要的頁(yè)面被收錄。

　　對(duì)于很多網(wǎng)站而講，網(wǎng)站是存在一些用戶信息以及后臺(tái)的頁(yè)面，對(duì)于這些頁(yè)面而講，往往對(duì)于搜索引擎而言是無意義的，所以都屬于一些比較低質(zhì)量的頁(yè)面內(nèi)容，并且嚴(yán)重的話還有可能會(huì)涉及一些用戶的隱私問題，所以對(duì)于這類型頁(yè)面的屏蔽工作是非常有必要的哦。