我如何使用Scrapy python登錄到stackoverflow網站

Question

我剛開始學習scrapy，我想用python和Scrapy嘗試一些prasing。 我想從特定標籤中獲取問題列表，然後在SO上解析它們。

但我不知道如何登錄開放ID和Scrapy。

有的可以請指導我這個哪個網址我必須提交數據，因爲當我將鍵入的OpenID然後網站被轉移至OpenID URL，這樣我怎樣才能輸入密碼有

Answer 1

使用your RSS feed（基本XML ）。我能想到的

的另一種方式是：

Login normally in browser 
export cookies to file 
use that file in script 

我能想到的情況下fanatic徽章就變得不那麼重視。因爲，那麼人們只需在他們的服務器上安排cron就可以每天訪問它！所以，我建議不要做這種事。

Answer 2

Here是一個很好的例子，如何模擬使用scrapy的用戶登錄請求。