scraperwiki

2熱度

1回答

ScraperWiki限制它正在抓取的網站嗎？

ScraperWiki以某種方式自動限制抓取速度，或者我應該在循環中添加諸如sleep（1 * random.random（））之類的東西嗎？

screen-scraping scraperwiki 2011-05-01

---

1熱度

1回答

ScraperWiki數據存儲需要什麼編碼？

雖然在ScraperWiki寫一刮，我反覆得到試圖挽救一個UTF8編碼的字符串時，這條消息： UnicodeDecodeError('utf8', ' the \xe2...', 49, 52, 'invalid data') 我最終制定出來的，通過試的UnicodeDecodeError，該ScraperWiki數據存儲似乎期待的Unicode 。 所以我現在從UTF-8解碼，一切都轉換爲U

python screen-scraping scraperwiki 2011-02-13

---

9熱度

3回答

使用lxml解析RSS時出現編碼錯誤

我想使用lxml解析下載的RSS，但我不知道如何處理UnicodeDecodeError？ request = urllib2.Request('http://wiadomosci.onet.pl/kraj/rss.xml') response = urllib2.urlopen(request) response = response.read() encd = chardet.detec

python rss lxml scraperwiki chardet 2011-04-27

---