scraperwiki

0熱度

1回答

請原諒我，因爲我對scraperwiki和Twitter挖掘的知識有限。我有以下代碼刮微博數據。不過，我想編輯代碼，只給我在特定日期爲紐約進行地理標記的結果（比方說，2013年4月1日）。你知道我應該怎麼做？ ############################################################################### # Twitter src

12熱度

4回答

如何在Windows上安裝Poppler

最新版本的scraperwiki取決於Poppler（或者github說的）。不幸的是，它只指定了如何在OSX和Linux上獲取它，而不是Windows。一個快速的谷歌沒有太大的希望，所以沒有人知道如何讓Windows上的Poppler獲得scraperwiki？

2熱度

2回答

TypeError：必須可轉換爲緩衝區，而不是ResultSet

我試圖使用scraperwiki和bs4將PDF轉換爲文本文件。我得到TypeError。我對Python非常感興趣，並且非常感謝您的幫助。發生錯誤的位置： File "scraper_wiki_download.py", line 53, in write_file f.write(soup) 這是我的代碼： # Get content, regardless of whether an

0熱度

1回答

使用Invoke-WebRequest刮擦

我們正在將一個asp.net intranet遷移到SharePoint並通過PowerShell自動執行轉換。我們只想用類名'topnav'從DIV標籤中取消鏈接。不是頁面 $url = "http://intranet.company.com" $page = Invoke-WebRequest -Uri $url $div_topnav = $page.ParsedHtml.getEl

1熱度

1回答

Scraperwiki Python循環問題

我正在使用Python創建一個通過ScraperWiki的刮板，但是我遇到了我得到的結果的問題。我在ScraperWiki的文檔中將我的代碼放在basic example之外，一切看起來都非常相似，所以我不確定我的問題在哪裏。對於我的結果，我得到了頁面上的第一個文檔標題/ URL，但循環似乎存在問題，因爲它不會在該文檔之後返回剩餘的文檔。任何建議表示讚賞！ import scraperwiki

0熱度

1回答

如何在Python和ScraperWiki中給出空白值返回「N/A」

嗨：我是Scraperwiki和Python的新手，並試圖弄清楚如何返回「NA」或類似的東西符合我的cssselect規範的網頁。在我的代碼如下，我颳了一個雙嵌套的網頁集。當我刮掉一個沒有cssselect屬性值的子頁面時，它只會複製最後一個有值的刮頁面的值。任何提示？謝謝！託德進口scraperwiki 進口裏urlparse 進口lxml.html 進口的urllib DEF scrap

0熱度

2回答

如何刮除超過Python的三重鏈接列表鏈接的第一個實例？

我想確定最簡單的方法來記錄從原始網頁鏈接的網頁鏈接的網頁內容。我希望我的輸出成爲一個表格，其中的行與第三層深度頁面的內容相對應。正如你可以從代碼中看到的，我目前只能得到第三級頁所需的項目上的第一個實例。另外，雖然我當前的代碼將返回一行對應於基本URL上的每個h2項，但我希望每個h2項具有多行（與「span.'case-doc-details」a的實例一樣多第二層）。一些額外的信息：在每一個連接

0熱度

1回答

如何將此數據添加到scraperwiki的數據庫

import scraperwiki import urllib2, lxml.etree url = 'http://eci.nic.in/eci_main/statisticalreports/SE_1998/StatisticalReport-DEL98.pdf' pdfdata = urllib2.urlopen(url).read() xmldata = scraperwiki.

0熱度

1回答

ScraperWiki刮擦頻率

這可能是一個愚蠢的問題，但我目前正在使用Scraperwiki來處理twitter。 Tho ScraperWiki運行頻率相當低。有沒有辦法強制ScraperWiki運行更頻繁而不碰python，因爲我的知識僅限於JavaScript。我迄今爲止代碼：的Javascript： $(document).ready(function() { var url ='https://free-ec2

1熱度

1回答

Scraping PDF與ScraperWiki並得到一個不確定的錯誤

我想用ScraperWiki刮這PDF。當前的代碼給了我的名字「數據」的錯誤沒有被定義，但我收到 elif int(el.attrib['left']) < 647: data['Neighborhood'] = el.text 錯誤。如果我評論說，線路輸出我得到我的else語句相同的錯誤。這裏是我的代碼 import scraperwiki import urllib2, lxml.et