如何使用scrapy來模擬通過POST請求完成的登錄（編碼）

Question

是否可以使用scrapy模擬在www.eoddata.com等網站上登錄？該網站使用發佈請求提交登錄信息。

Answer 1

http://readthedocs.org/docs/scrapy/en/latest/topics/request-response.html?highlight=login#using-formrequest-from-response-to-simulate-a-user-login

Answer 2

看來scrapy本身是不夠的，像Wireshark的嗅探工具是一個必須解決的問題:)

Answer 3

是的，但由於形式的動態性質你可能需要首先閱讀登錄頁面以獲取字段和任何CSRF類型字段的確切名稱。你要遵循這樣的

1. 序列與刮刀
2. 閱讀原始表單頁面解析這個HTML獲取用戶名字段，密碼字段的名稱，以及任何CSRF類型的認證名稱/值田
3. 發個帖子與設置的用戶名，密碼字段設置爲密碼，並在上一步驟
4. 捕獲的任何其他CSRF類型字段的用戶名字段登錄URL得到驗證Cookie的響應

查看Firebug的登錄信息以獲取登錄URL，並查看字段名稱和值是否是動態的。