2012年3月5日 星期一

如何抵擋網路蜘蛛(How To Block Web Spider or Crawler)

2 則留言:
自從網路突然成了大家每天必需的基礎工具之後,無論是雲端SEO網路行銷或各種能夠讓你在網路上被人知道的動作,似乎都能了一門潛學問,大家都有些門道、方法,或是小撇步能夠達到自己想要達到的效果,不過,若是對於網站的經營面來說,有很多看似應該欣喜的東西,最後很有可能會成為另外一種沉重的壓力,例:網站流量看似有明顯的成長,實際上卻消耗在許多非預期的動作上。

這時候別忘記在台灣弄一個網站,除了需要花在網站上的設計、程式和必要人力之外,最昂貴的代價就是花在網站經營的頻寬及系統資源(我手上也有不少個網站就是...昏),大家可以回頭想想,如果Youtube沒有被Google接下的話,有辦法發展成現在的模樣嗎?雖然拿Youtube當例子有點不妥,畢竟它是自身內容,產生出相當可觀的流量。

但是,對於其它類型的網站來說,卻很有可能,被那些提供搜尋結果的網站給打趴,因為這些網站大多都會放出自己的自動化搜尋程式(俗稱:網路蜘蛛機器人爬蟲),雖然自己的網站能夠被愈多人知道愈好,但是,如果在還沒長大之前,就先因為這些潛在的宣傳者(機器人、蜘蛛)打趴的話,或許你連長大的機會都沒有,既然在網路世界有這個工具存在,其實它也有它的運行規則,不過,並非每一個參加者都會遵守(尤其是對岸的搜尋引擎),如此一來,或許我們也只能見招拆招,不然就可能是跟自己白花花的銀子過不去了。