網站如何屏蔽采集者的IP?
前幾天我搜索我網站內容的時候,發現有很多非法網站同時更新,我點擊進去發現是一些非法的網站,但只能在對方網站頂部找到少量的廣告信息,并沒有什么實際內容。
我仔細查看了對方的源代碼,發現對方隱藏了網站內容。他用這樣的方法可以欺騙搜索引擎,讓搜索引擎給其不錯的排名,同時又能在訪客面前隱藏自己小偷小摸的行為。
我第一時間想到了是不是網站被黑?
所以我修改了網站FTP,數據庫,管理員賬號等信息后,又更新了新文章,隔幾小時后發現對方還是能順利更新我網站的文章。這就奇怪了,難道是服務器被黑?我又仔細查看了服務器,沒發現什么異常。
最后想到是不是可能被采集?
所以我把網站開通了訪問日志功能,等了半天以后,我打開幾M的日志查看,仔細一查就發現了采集者的IP,
我把對方的IP屏蔽以后,從此對方再也沒和我的網站同步更新。
如何能快速的發現,并且一招制服采集你網站的小偷呢?
方法非常簡單,你只需要查看哪個IP訪問你最新文章,然后查看這些IP,其中有異常的就肯定是采集你網站的。
比如你更新一兩篇新文章,你的新文章ID是/123.htm,半天時間內訪問你新文章/123.htm的往往就那么幾個IP,然后分別查看這幾個IP都訪問了哪些頁面,流量是否正常。
比如有的IP是國內IP,只訪問了幾個正常頁面,流量占用很小,那他們就是正常的訪客。
而像這類美國IP 207.46.13.* 就不正常。
第一,他是美國IP,就算是真實訪問也不是我的意向顧客。
第二,采集小偷的網站服務器在美國,而這個IP也在美國,那他肯定就是采集IP。
第三,他做非法網站不可能用國內服務器,一來美國服務器成本低,二來可以避開法律風險。
第四,訪問頁面太多,占用流量比較大。
發現了采集者的IP, 如何屏蔽采集者的IP段呢?
如果你的linux服務器,只需要在.htaccess里這樣寫就行
order allow,deny
Deny from 127.0.0
allow from all
舉例,如果你要屏蔽的IP段比較多,可以這樣寫
order allow,deny
Deny from 68.180.230
Deny from 40.77.167
allow from all
通過這樣的方法就可以完全杜絕采集你網站的小偷,對方發現自己無法采集成功,就會另選目標。如果每個站長都知道這樣的方法,那么互聯網環境將會純凈許多。