網(wǎng)站重復(fù)，即同一個(gè)域名下有兩個(gè)不同的URL地址，但是頁(yè)面一樣并且然后立即搜索。那么這時(shí)候搜索引擎只會(huì)在兩個(gè)url下選擇其一。但是，搜索引擎無(wú)法從根本上區(qū)分這兩個(gè)頁(yè)面中的哪個(gè)頁(yè)面，因此網(wǎng)站的重復(fù)頁(yè)面被蜘蛛抓取并被搜索引擎索引。雖然這種方法確實(shí)可以提高我們網(wǎng)站的索引，結(jié)果不可避免地會(huì)被搜索引擎淘汰，這很容易導(dǎo)致我們的索引出現(xiàn)較大的波動(dòng)。而如果網(wǎng)站內(nèi)容重復(fù)頁(yè)面較多，很容易被搜索引擎識(shí)別為作弊，對(duì)網(wǎng)站的發(fā)展不利，嚴(yán)重的可能直接降權(quán)。如果網(wǎng)站存在大量的重復(fù)頁(yè)面的話，這時(shí)候可以通過(guò)robots進(jìn)行屏蔽這樣重復(fù)頁(yè)面的鏈接就可以了。廣西網(wǎng)絡(luò)公司

在很多情況下，很多站長(zhǎng)都會(huì)面臨這樣的困境。網(wǎng)站上的一些文章質(zhì)量低下，但可能會(huì)受到用戶的喜歡。雖然搜索引擎不喜歡它，但我們需要應(yīng)用一些適當(dāng)?shù)钠帘渭夹g(shù)來(lái)防止搜索引擎抓取和索引。我們經(jīng)?？吹皆S多本地門戶網(wǎng)站都有一個(gè)廣告模塊，該模塊專門針對(duì)某些業(yè)務(wù)用戶。該模塊對(duì)用戶發(fā)布廣告信息很有用，也允許部分買家和用戶發(fā)布廣告信息。但是對(duì)于搜索引擎來(lái)說(shuō)，廣告信息是垃圾信息，因?yàn)橐话愕膹V告都是賣家直接復(fù)制的，可能會(huì)有大量的鏈接。雖然這樣的頁(yè)面對(duì)用戶來(lái)說(shuō)是可以接受的，但是搜索引擎卻不能，所以在這種情況下，我們只能在用戶體驗(yàn)和優(yōu)化好的情況下，盡量保留這樣的頁(yè)面，另一方面，我們應(yīng)該盡可能的屏蔽這些頁(yè)面讓蜘蛛無(wú)法爬行。

對(duì)于一個(gè)網(wǎng)站的運(yùn)營(yíng)和開(kāi)發(fā)來(lái)說(shuō)，出現(xiàn)一些死鏈接是很正常的，比如我們刪除某個(gè)欄目或者某篇文章，不管這些頁(yè)面是否被搜索引擎收錄，都是需要去進(jìn)行屏蔽工作的?？赡芎芏嗳舜丝滩焕斫?，就算被屏蔽了，那些沒(méi)有收錄的頁(yè)面為什么要屏蔽呢？其實(shí)原因很簡(jiǎn)單，因?yàn)樗阉饕嬉呀?jīng)收錄了這些頁(yè)面，很多時(shí)候只是還沒(méi)有發(fā)布而已。它應(yīng)該在下一階段或某個(gè)階段發(fā)布。因此，無(wú)論是否包含這些頁(yè)面，我們都必須阻止它們。當(dāng)然我們可以直接使用404頁(yè)面進(jìn)行處理。廣西網(wǎng)站建設(shè)

對(duì)于很多網(wǎng)站來(lái)說(shuō)，網(wǎng)站上都有一些用戶信息頁(yè)面和背景頁(yè)面，對(duì)于這些頁(yè)面來(lái)說(shuō)，對(duì)于搜索引擎來(lái)說(shuō)往往是沒(méi)有意義的，屬于質(zhì)量比較低的頁(yè)面內(nèi)容，嚴(yán)重的還有一些用戶隱私問(wèn)題，因此有必要阻止此類頁(yè)面。

以上內(nèi)容由互聯(lián)網(wǎng)收集整理，版權(quán)歸原創(chuàng)作者所有，如有侵權(quán)請(qǐng)聯(lián)系我們處理刪除內(nèi)容，謝謝！