2010-08-19 122 views
2

我們使用自動化工具可以輕鬆地在GridView和細節視圖中顯示數據。我的問題是,如果有人使用一些自動化工具並登錄到網站並剪下數據,我們怎麼能找到它?我們如何檢測一個人是否正在查看該網站或工具?例如,一種方法是計算用戶停留在頁面中的時間,從中我們可以檢測是否涉及人爲干預。我不知道如何實現,只是想着這個方法。任何人都可以幫助如何檢測和防止自動工具從我的網站上抓取數據?我在登錄部分使用了安全映像,用戶必須輸入登錄部分顯示的用戶名,密碼和安全映像才能登錄。即使在主頁上,人們也可以鍵入安全圖像並登錄到該網站,然後使用自動工具從網站上取消數據!!當經過一段時間後出現了一個恢復圖像時,用戶可以單獨輸入安全形象,並再次使用自動化工具從網站上取消數據。實際上,我甚至開發了一個工具來取消另一個網站的數據。所以只有我想阻止這種情況發生在我的網站!防止自動工具訪問網站

回答

3

這是網絡。你需要假設你放在那裏的任何東西都可以被人或機器讀取。即使你今天可以預防,明天也有人會想出如何繞過它。 Captchas have been broken for some time now,遲早,替代品也會如此。

但是,here是暫時的一些想法。

here是幾個。

和我最喜歡的。我遇到的一個聰明的網站有一個很好的網站。它有一個問題,如「關於我們」關於我們「頁面,我們支持辦公室的街道名稱是什麼?」或類似的東西。需要一個人來找到「關於我們」頁面(鏈接沒有說「關於我們」,它說的是類似的東西,但人們會發現)然後找到支持辦公室地址(與主要公司不同辦公室和網頁上列出的其他幾個人),你必須查看幾場比賽。目前的計算機技術無法想象它能發現真正的語音識別或認知。

谷歌搜索「Captcha alternatives」變成了相當多的東西。

+0

是的,但是因爲每一項安全功能都可能被打破,所以您不能離開您的網站而沒有任何安全功能。 – 2010-08-19 05:26:26

+0

同意,但安全規則#1是假設您的網站是脆弱的,並深入實施防禦。而且我不得不懷疑,如果它是人類閱讀網站或不知道它有多重要?這應該是其中的一個問題,但我還沒有遇到這種情況,這將是一個破壞交易的情況。確保網站的一切都在您的處理之中,而人與機器人問題則不是一個因素。 – David 2010-08-19 05:27:54

+1

是的,我認爲這裏的目的應該是讓拼圖變得困難,而不是找到用戶是機器還是人類。 – 2010-08-19 05:38:53

0

我想唯一好的解決方案是限制數據可以訪問的速度。它可能並不能完全防止抓取,但至少可以限制自動抓取工具的工作速度,希望低於阻止抓取數據的水平。

0

我應該注意一下如果有意願的話,那麼有個辦法

話雖這麼說,我想到您之前問這裏有一些我想出了簡單的事情:

  1. 簡單幼稚的檢查可能是用戶代理過濾和檢查。您可以在這裏找到常用爬蟲用戶代理的列表:http://www.useragentstring.com/pages/Crawlerlist/

  2. 您可以隨時在閃存中顯示您的數據,但我不推薦使用它。

  3. 使用驗證碼

除此之外,我真的不知道是否有其他任何你可以做,但我會希望看到的答案也是如此。

編輯:

谷歌做一些有趣的事情,如果你正在尋找的核潛艇,其中第50頁左右,他們將驗證碼後。它提出了一個問題,看看您是否可以智能地計算用戶在您的網頁上花費的金額,或者您是否想將分頁引入方程式,即用戶在一頁上花費的時間。

使用我們之前假設的信息,可以在發送另一個HTTP請求之前放置時間限制。此時,「隨機」生成驗證碼可能會有所幫助。我的意思是說,一個HTTP請求可能會通過,但下一個將需要驗證碼。你可以隨意切換。

6

不要做到這一點。

這是網絡,如果他們真的需要,你將無法阻止某人抓取數據。我已經做了很多很多次,並且解決了他們實施的所有限制。實際上有一個限制激勵我進一步嘗試獲取數據。

越限制系統,越會爲合法用戶提供用戶體驗。只是一個壞主意。

+1

很高興能從eeeeevilllll這邊看到某個人的觀點。 ;-) – David 2010-08-19 05:56:31

0

這樣做不會冒着誤報(和惱人的用戶)的風險。

我們如何檢測人是否在瀏覽網站或工具?

你不能。你將如何處理爲人類解析頁面的工具,如屏幕閱讀器和輔助工具?

例如,一種方法是計算用戶停留在頁面中的時間,從中我們可以檢測到是否涉及人爲干預。我不知道如何實現,只是想着這個方法。任何人都可以幫助如何檢測和防止自動工具從我的網站上抓取數據?

你不會自動檢測工具,只不尋常的行爲。在你定義不尋常的行爲之前,你需要找到平常的東西。人們查看不同順序的頁面,瀏覽器標籤允許他們這樣做並行任務等

+0

像Google這樣的網站有跟蹤邏輯,以查找人工干預是否涉及網站使用!我只想知道這一邏輯,以便我們至少可以在一定程度上防止這些工具! – banupriya 2010-08-20 06:31:22

0

的scrappers通過解析URL和閱讀網頁的源代碼,盜取你的網站的數據。如果不是不可能的話,可以採取以下步驟以至少使困難變得困難。

Ajax請求,難以分析數據,並要求在獲得被解析的URL的額外工作。甚至不需要任何身份驗證,一旦用戶訪問該主頁,然後它要求所有的內pages.This創建的cookie正常頁面

使用的cookie使得刮有點困難。

在網站上顯示加密的代碼,然後使用JavaScript代碼在加載時解密它。我曾在幾個網站上看到過它。

+0

創建Cookie如何防止自動工具?無論是一個工具還是一個人進入該頁面,都會創建cookie?請提供加載時顯示加密和解密代碼的JavaScript代碼。在我的網站中,我使用base64加密來加密密碼。我應該加密查詢字符串嗎? – banupriya 2010-08-19 05:56:47

+0

我沒有說創建cookie會阻止自動化工具,它只是使創建報廢工具變得困難,並且需要額外的努力。 – 2010-08-19 06:31:50

+0

請參閱這裏瞭解加密的html。 http://www.iwebtool.com/html_encrypter類似的東西也可以在你的網站上實現。 – 2010-08-19 06:37:10