避免網(wǎng)站重復(fù)頁面的收錄：對(duì)網(wǎng)站重復(fù)頁面的信息，也就是說同一個(gè)域名下存在兩個(gè)不同URL地址，但是頁面是相同的，那么這時(shí)候搜索引擎只會(huì)在兩個(gè)url下選擇其一。而搜索引擎并不能夠從根本上區(qū)分要收錄兩個(gè)頁面中的哪一個(gè)，那么這個(gè)時(shí)候也就造成了網(wǎng)站重復(fù)頁面被蜘蛛抓取，搜索引擎收錄。雖然這樣的做法確實(shí)可以提高我們網(wǎng)站的收錄，但是結(jié)果也是必然被搜索引擎剔除，這個(gè)時(shí)候就很容易的造成我們收錄上面的大波動(dòng)。并且如果網(wǎng)站中存在大量重復(fù)內(nèi)容頁面的話，也很容易會(huì)被搜索引擎認(rèn)定為采用作弊手法，所以對(duì)網(wǎng)站的發(fā)展是極為不利的，嚴(yán)重者可能會(huì)直接被降權(quán)、被K。如果您網(wǎng)站存在大量的重復(fù)頁面的話，這時(shí)候可以通過robots進(jìn)行屏蔽這樣重復(fù)頁面的鏈接就OK了。廣西網(wǎng)絡(luò)公司

避免一些不友好頁面的收錄：在很多的時(shí)候，相信很多站長會(huì)遇到這樣一種兩難的局面，網(wǎng)站的某些文章質(zhì)量低下，但是卻能夠得到用戶的喜愛，雖然搜索引擎不喜歡它，那么這個(gè)時(shí)候我們就需要采用一些適當(dāng)?shù)钠帘问址ǎ瑏碜屗阉饕鏌o法抓取收錄。就舉一個(gè)我們比較常見的例子吧，我們會(huì)發(fā)現(xiàn)很多的地方門戶都存在一個(gè)廣告模塊，專為一些商家用戶提供的，這個(gè)模塊方便用戶發(fā)布廣告信息，也方法一些買家用戶獲取到廣告信息，然而對(duì)于搜索引擎而講，廣告信息就屬于垃圾信息，因?yàn)橐话愕膹V告都是商家直接復(fù)制過來的，其中還有可能存在大量的鏈接，雖然這樣的頁面用戶是可以接受的，但是搜索引擎是無法接受的，所以面對(duì)這樣情況的時(shí)候我們只能夠很好的衡量用戶體驗(yàn)和優(yōu)化的情況下，盡可能的保留這樣頁面，另一方面就是盡可能屏蔽這些頁面讓蜘蛛無法抓取。廣西網(wǎng)站制作

以上內(nèi)容由互聯(lián)網(wǎng)收集整理，版權(quán)歸原創(chuàng)作者所有，如有侵權(quán)請(qǐng)聯(lián)系我們處理刪除內(nèi)容，謝謝！