一、搜查引擎的蜘蛛，是不是爬得越多越好

當然不是!不管什么搜查引擎的爬蟲，來抓取你網(wǎng)站的頁面的時候，判斷在消耗你的網(wǎng)站資源，例如網(wǎng)站的連接數(shù)、網(wǎng)絡帶寬資源、服務器的負 載、甚至還有盜鏈等。不是所有的搜查引擎蜘蛛都是有用的。另外，搜查引擎的爬蟲來抓取你的頁面數(shù)據(jù)后，它也不一定收用數(shù)據(jù)。只代表它“到此一游”留下痕跡 罷了，有的搜查引擎室成心過來找它想要的資源，甚至還有很多是開發(fā)人員的蜘蛛測試。

對一個原創(chuàng)內(nèi)容豐富，URL結(jié)構(gòu)公道易于爬取的網(wǎng)站來說，幾乎就是各種爬蟲的盤中大餐，很多網(wǎng)站的拜訪流量形成當中，爬蟲帶來的流量要遠遠超過實在 用戶拜訪流量，甚至爬蟲流量要高出實在流量一個數(shù)量級。像進步網(wǎng)站有效利用率誠然設置了相稱嚴格的反爬蟲策略，然而網(wǎng)站處理的動態(tài)懇求數(shù)量仍然是實在用戶 拜訪流量的2倍。可能判斷的說，當今互聯(lián)網(wǎng)的網(wǎng)絡流量至少有2/3的流量爬蟲帶來的。因此反搜查引擎爬蟲是一個值得網(wǎng)站長期摸索跟解決的問題。

?

搜查引擎爬蟲對網(wǎng)站的負面影響

1.網(wǎng)站有限的帶寬資源，而爬蟲的量過多，導致畸形用戶拜訪緩慢。原本虛構(gòu)主機主機的連接數(shù)受限，帶寬資源也是有限。這種情況搜查引擎爬蟲受影響顯現(xiàn)更明顯。

2.搜查引擎爬蟲過頻密，抓取掃描很多無效頁面。甚至抓頁面抓到服務器報502、500 、504 等服務器內(nèi)部錯誤了，蜘蛛爬蟲還在不停使勁抓取。

3.與網(wǎng)站主題不相干的搜查引擎爬蟲消耗資源。

典范的例子搜查引擎“一淘網(wǎng)蜘蛛為一淘網(wǎng)抓取工具。被各大電子商務購物網(wǎng)站屏蔽。拒絕一淘網(wǎng)抓取其商品信息及用戶產(chǎn)生的點評 內(nèi)容。被禁止的起因首先應當是它們之間不配合互利的關聯(lián)，還有就是EtaoSpider爬蟲是一個抓取猖狂的蜘蛛。統(tǒng)計發(fā)明EtaoSpider爬蟲 的一天爬行量比“百度蜘蛛：Baiduspider”“360蜘蛛：360Spider”“SOSO蜘蛛：Sosospider”等主流蜘蛛爬蟲多多少倍， 并且是遠遠的多。重點是EtaoSpider被抓取只會消耗你的網(wǎng)站資源，它不會給你帶來拜訪量，或者其它對你有利用的。

4.一些搜查引擎開發(fā)程序員，它們寫的爬蟲程序在測試爬行。

5.robots.txt文件不是!

判斷有很多人認為，在robots.txt設置屏蔽搜查引擎爬蟲即可，或者容許某些特定的搜查引擎爬蟲，能達到你料想后果。不錯正規(guī)搜查引擎會依照規(guī) 則，不過不會及時生效。然而實際中某些蜘蛛往往不是這樣的，先掃描抓取你的頁面，疏忽你的robots.txt。也可能它抓取后不一定留用;或者它只是統(tǒng) 計信息，收集互聯(lián)網(wǎng)行業(yè)趨勢剖析統(tǒng)計。

6.還有一種它們不是蜘蛛，但其有蜘蛛的特點。例如采集軟件，采集程序，網(wǎng)絡掃描e-mail地址的工具，各式各樣的SEO剖析統(tǒng)計工具，千奇百怪的網(wǎng)站漏洞掃描工具等等。

　　二、有效指引搜查引擎對應的辦法，及解決方法：

1.依據(jù)空間流量實際情況，就保存多少個常用的屏蔽掉其它蜘蛛以節(jié)儉流量。以臨時空間流量還足夠利用，先保障畸形瀏覽器優(yōu)先。

2.從服務器防火墻iptable直接屏蔽蜘蛛IP段、具體的IP。這是直接、有效的屏蔽方法。

3.WWW服務器層面做限度。例如Nginx，Squid，Lighttpd，直接通過“http_user_agent”屏蔽搜查引擎爬蟲。

4.后robots.txt文件做限度。搜查引擎國際規(guī)矩還是要遵守規(guī)矩的。