由於網絡爬蟲在沒有任何請求數據的情況下擊中我網站的某些部分,我收到了很多發送到我的電子郵件的錯誤,而且我想知道在Django中處理Web爬蟲的最佳方式是什麼?當我遇到空的QueryDict時,是否應該發出重定向?如何在Django中處理網絡爬蟲?
2
A
回答
1
您可以考慮實施robots.txt以禁止抓取工具訪問您的網站僅供人類使用的區域,例如表單。
-1
表現良好的爬網程序只能執行GET請求。表單應該只是GET請求。
Ruby和Rails使用CRUD映射
Create -> POST,
READ -> GET,
Update -> PUT,
Delete -> DELETE
唯一的東西,沒有額外的信息應該是GET請求。
1
我認爲你的意見應該適用於任何請求,在列表返回頁面上顯示消息「不正確的請求」。 500是醜陋的。您確定該用戶沒有請求數據沒有打開頁面嗎? QueryDict的「get」方法可以幫助使用默認值。
相關問題
- 1. 網絡爬蟲如何處理javascript
- 2. 網絡爬蟲多處理在Python 3
- 3. 網絡爬蟲
- 4. C++網絡爬蟲
- 5. PHP網絡爬蟲
- 6. Python網絡爬蟲
- 7. java網絡爬蟲
- 8. 網絡爬蟲類
- 9. Python中的網絡爬蟲
- 10. 我如何處理JavaScript的一個Perl的網絡爬蟲?
- 11. 自動網絡爬蟲
- 12. 網絡爬蟲的功能
- 13. 網絡爬蟲,反饋?
- 14. 網絡爬蟲的Java
- 15. 遞歸網絡爬蟲perl
- 16. 簡單的網絡爬蟲
- 17. 需要網絡爬蟲
- 18. 網絡爬蟲文本雲
- 19. 硒與python網絡爬蟲
- 20. 網絡爬蟲從Android Market
- 21. 網絡爬蟲應用
- 22. 網絡爬蟲不打印
- 23. 網絡爬蟲提取
- 24. 如何配置網絡爬蟲?
- 25. 如何使網絡爬蟲更有效?
- 26. 如何識別網絡爬蟲?
- 27. 如何忽略網絡爬蟲?
- 28. 在Scala中的網絡爬蟲算法
- 29. Python網絡爬蟲多線程和多處理
- 30. 網絡爬蟲:使用Perl的MozRepl模塊處理Javascript
「表單應該只是GET請求」 - >那麼'
應該不鼓勵。查看Twitter的主頁並查看是否有任何GET表單。 – EnabrenTane 2010-12-18 20:49:36
我的履帶式拖拉機總是使用DELETE .../s – titaniumdecoy 2011-05-24 23:36:25