scrape

0熱度

1回答

我使用Scrapy從website中提取信息。這是蜘蛛代碼（部分）： class bsSpider(CrawlSpider): name = "bsSpider" def __init__(self, *args, **kwargs): super(bsSpider, self).__init__(*args, **kwargs) self.start_

0熱度

1回答

simple_html_dom不適用於HTTPS網站

我喜歡使用simple_html_dom來刮取網站和RSS源的內容，但是當我在HTTPS網站上嘗試使用相同內容時，我遇到了問題。看來我無法從中得到什麼。 // SCRAPER: require_once 'simple_html_dom.php'; // Report all PHP errors (see changelog) error_reporting(E_ALL); // p

0熱度

1回答

的Python刮網站，請求和LXML ..

以此爲出發點.. http://docs.python-guide.org/en/latest/scenarios/scrape/ from lxml import html import requests page = requests.get('http://econpy.pythonanywhere.com/ex/001.html') tree = html.fromstring(pa

0熱度

1回答

如何停止在不同行上打印每封信？

當我嘗試放棄一些文本與beautifulsoup的HTML代碼 class scrap(object): def dirae(self, word): url = 'http://dirae.es/palabras/' + word site = urllib2.urlopen(url) soup = BeautifulSoup(site.r

0熱度

2回答

如何使用Web :: Scraper刮擦以下內容？

此問題與How to Parse this HTML with Web::Scraper?不同，但與其相關。我必須使用Web::Scraper湊一個頁面，該HTML可以稍微改變。有時也可以是 <div> TITLE1 DESCRIPTION1 <strong

0熱度

1回答

在PhP中刮掉一個動態網站

我該如何刮一個在php中創建的網站 - 其中URL（查詢）中沒有任何細節變化？爲了能夠訪問一個網站的詳細信息，您需要點擊選擇菜單（這是由日期），選擇一個日期，然後細節將顯示哪些話，我會刮掉必要的細節。我想使用或的NodeJS是最好的PHP創建一個腳本，因爲該網站是在PHP或並不真的重要嗎？另外，有沒有一種方法可以創建一個腳本，讓我的腳本可以像在選項菜單上選擇特定日期一樣顯示結果？

2熱度

1回答

我可以使用什麼Python工具編寫受密碼保護的網頁的刮板？

假設有一個密碼保護的網站，我想訪問它從中抓取一些信息並將其放入電子表格中。例如，它可能是我的個人信用卡帳戶頁面，我會在最近的交易中提取信息。如果網站允許將交易信息下載爲CSV文件，則會發生變化，在這種情況下，我想要下載該文件。如果我想在Python中編寫這樣的刮板，我應該使用哪些軟件包進行任務？這取決於特定網站的實施方式，也就是說我可能需要一種工具來刮掉一個網站，另一個工具可以去另一個網站。

0熱度

3回答

AttributeError：'HTTPResponse'對象沒有屬性'替換'

嗨，我得到了上述錯誤。爲什麼會彈出，我錯過了什麼，我該如何解決它？謝謝 try: import urllib.request as urllib2 except ImportError: import urllib2 from html2text import html2text sock = html2text(urllib2.urlopen('http://www

3熱度

1回答

使用rvest在h後刪除所有的p？（或其它的R封裝）

我是新來的HTML刮的世界裏，有困難的在特定標題段落拉動，使用rvest在R. 我想湊來自多個站點，它們有一個相對信息類似的設置。它們都具有相同的標題，但標題下的段落數量可能會發生變化。我可以在標題下用以下代碼刮掉特定段落： unitCode <- data.frame(unit = c('SLE010', 'SLE115', 'MAA103')) html <- sapply(unitCod

0熱度

2回答

UnicodeEncodeError：使用Python和beautifulsoup4刮取數據

我想從PGA網站上刮取數據以獲得美國所有高爾夫球場的列表。我想抓取數據並輸入到CSV文件中。我的問題是運行我的腳本後，我得到這個錯誤。任何人都可以幫助解決這個錯誤，以及我如何能夠提取數據？以下是錯誤消息： File "/Users/AGB/Final_PGA2.py", line 44, in writer.writerow(row) UnicodeEncodeError: 'ascii' co