我們使用自動化工具可以輕鬆地在GridView和細節視圖中顯示數據。我的問題是,如果有人使用一些自動化工具並登錄到網站並剪下數據,我們怎麼能找到它?我們如何檢測一個人是否正在查看該網站或工具?例如,一種方法是計算用戶停留在頁面中的時間,從中我們可以檢測是否涉及人爲干預。我不知道如何實現,只是想着這個方法。任何人都可以幫助如何檢測和防止自動工具從我的網站上抓取數據?我在登錄部分使用了安全映像,用戶必須輸入登錄部分顯示的用戶名,密碼和安全映像才能登錄。即使在主頁上,人們也可以鍵入安全圖像並登錄到該網站,然後使用自動工具從網站上取消數據!!當經過一段時間後出現了一個恢復圖像時,用戶可以單獨輸入安全形象,並再次使用自動化工具從網站上取消數據。實際上,我甚至開發了一個工具來取消另一個網站的數據。所以只有我想阻止這種情況發生在我的網站!防止自動工具訪問網站
回答
這是網絡。你需要假設你放在那裏的任何東西都可以被人或機器讀取。即使你今天可以預防,明天也有人會想出如何繞過它。 Captchas have been broken for some time now,遲早,替代品也會如此。
但是,here是暫時的一些想法。
和here是幾個。
和我最喜歡的。我遇到的一個聰明的網站有一個很好的網站。它有一個問題,如「關於我們」關於我們「頁面,我們支持辦公室的街道名稱是什麼?」或類似的東西。需要一個人來找到「關於我們」頁面(鏈接沒有說「關於我們」,它說的是類似的東西,但人們會發現)然後找到支持辦公室地址(與主要公司不同辦公室和網頁上列出的其他幾個人),你必須查看幾場比賽。目前的計算機技術無法想象它能發現真正的語音識別或認知。
谷歌搜索「Captcha alternatives」變成了相當多的東西。
我想唯一好的解決方案是限制數據可以訪問的速度。它可能並不能完全防止抓取,但至少可以限制自動抓取工具的工作速度,希望低於阻止抓取數據的水平。
我應該注意一下如果有意願的話,那麼有個辦法。
話雖這麼說,我想到您之前問這裏有一些我想出了簡單的事情:
簡單幼稚的檢查可能是用戶代理過濾和檢查。您可以在這裏找到常用爬蟲用戶代理的列表:http://www.useragentstring.com/pages/Crawlerlist/
您可以隨時在閃存中顯示您的數據,但我不推薦使用它。
使用驗證碼
除此之外,我真的不知道是否有其他任何你可以做,但我會希望看到的答案也是如此。
編輯:
谷歌做一些有趣的事情,如果你正在尋找的核潛艇,其中第50頁左右,他們將驗證碼後。它提出了一個問題,看看您是否可以智能地計算用戶在您的網頁上花費的金額,或者您是否想將分頁引入方程式,即用戶在一頁上花費的時間。
使用我們之前假設的信息,可以在發送另一個HTTP請求之前放置時間限制。此時,「隨機」生成驗證碼可能會有所幫助。我的意思是說,一個HTTP請求可能會通過,但下一個將需要驗證碼。你可以隨意切換。
不要做到這一點。
這是網絡,如果他們真的需要,你將無法阻止某人抓取數據。我已經做了很多很多次,並且解決了他們實施的所有限制。實際上有一個限制激勵我進一步嘗試獲取數據。
越限制系統,越會爲合法用戶提供用戶體驗。只是一個壞主意。
很高興能從eeeeevilllll這邊看到某個人的觀點。 ;-) – David 2010-08-19 05:56:31
這樣做不會冒着誤報(和惱人的用戶)的風險。
我們如何檢測人是否在瀏覽網站或工具?
你不能。你將如何處理爲人類解析頁面的工具,如屏幕閱讀器和輔助工具?
例如,一種方法是計算用戶停留在頁面中的時間,從中我們可以檢測到是否涉及人爲干預。我不知道如何實現,只是想着這個方法。任何人都可以幫助如何檢測和防止自動工具從我的網站上抓取數據?
你不會自動檢測工具,只不尋常的行爲。在你定義不尋常的行爲之前,你需要找到平常的東西。人們查看不同順序的頁面,瀏覽器標籤允許他們這樣做並行任務等
像Google這樣的網站有跟蹤邏輯,以查找人工干預是否涉及網站使用!我只想知道這一邏輯,以便我們至少可以在一定程度上防止這些工具! – banupriya 2010-08-20 06:31:22
的scrappers通過解析URL和閱讀網頁的源代碼,盜取你的網站的數據。如果不是不可能的話,可以採取以下步驟以至少使困難變得困難。
Ajax請求,難以分析數據,並要求在獲得被解析的URL的額外工作。甚至不需要任何身份驗證,一旦用戶訪問該主頁,然後它要求所有的內pages.This創建的cookie正常頁面
使用的cookie使得刮有點困難。
在網站上顯示加密的代碼,然後使用JavaScript代碼在加載時解密它。我曾在幾個網站上看到過它。
創建Cookie如何防止自動工具?無論是一個工具還是一個人進入該頁面,都會創建cookie?請提供加載時顯示加密和解密代碼的JavaScript代碼。在我的網站中,我使用base64加密來加密密碼。我應該加密查詢字符串嗎? – banupriya 2010-08-19 05:56:47
我沒有說創建cookie會阻止自動化工具,它只是使創建報廢工具變得困難,並且需要額外的努力。 – 2010-08-19 06:31:50
請參閱這裏瞭解加密的html。 http://www.iwebtool.com/html_encrypter類似的東西也可以在你的網站上實現。 – 2010-08-19 06:37:10
- 1. 如何防止使用php自動多次訪問網站?
- 2. 阻止自動訪問的網站
- 3. 防止Adblock用戶訪問網站?
- 4. 如何防止從網站訪問網站
- 5. 如何防止網站訪問其他網站文件夾?
- 6. Azure網站設置,以防止移動訪問?
- 7. 通過工具在網站上阻止訪問
- 8. 如何禁止訪問移動網站?
- 9. 我如何訪問要訪問網站管理工具
- 10. 如何防止跨站點訪問
- 11. 防止用戶沒有一個帳戶來訪問網站
- 12. 如何防止不需要的用戶訪問公共網站?
- 13. 如何防止未經授權的電腦訪問網站
- 14. 防止間接訪問PHP中的網站
- 15. 防止直接訪問PHP安全網站上的PDF
- 16. MVC網站 - 如何防止訪問靜態文件
- 17. 防止URL訪問網站上的文件
- 18. 網站開發工具問題 - 自動文件上傳
- 19. 防火牆/訪問網站記錄器
- 20. 防止橫向移動網站
- 21. 防止直接訪問網址
- 22. 防止進程訪問互聯網
- 23. 防止訪問其他網絡服務
- 24. 移動訪問網站
- 25. 防止網站複製
- 26. 防止網站重定向
- 27. 防止縮放移動網站不能正常工作
- 28. 如何防止這種網站上的自動攻擊?
- 29. 防止Facebook用戶自動登錄我的網站
- 30. 如何防止網站禁用表單自動填充?
是的,但是因爲每一項安全功能都可能被打破,所以您不能離開您的網站而沒有任何安全功能。 – 2010-08-19 05:26:26
同意,但安全規則#1是假設您的網站是脆弱的,並深入實施防禦。而且我不得不懷疑,如果它是人類閱讀網站或不知道它有多重要?這應該是其中的一個問題,但我還沒有遇到這種情況,這將是一個破壞交易的情況。確保網站的一切都在您的處理之中,而人與機器人問題則不是一個因素。 – David 2010-08-19 05:27:54
是的,我認爲這裏的目的應該是讓拼圖變得困難,而不是找到用戶是機器還是人類。 – 2010-08-19 05:38:53