scraper

0熱度

2回答

我正在使用casperjs來刮一個網站。我設置了一個函數，它將一個字符串存儲到一個名爲images的變量中（如下所示），並且效果很好。 images = casper.getElementsAttribute('.search-product-image','src'); 然後我在fs中調用這個變量，這樣我就可以將它導出到CSV，這也可以正常工作。 casper.then(function()

3熱度

1回答

美麗的湯巢嵌套div（添加額外的功能）

我想從[www.quicktransportsolutions.com][1]提取公司名稱，地址和郵政編碼。我寫了下面的代碼來亂寫網站並返回我需要的信息。 import requests from bs4 import BeautifulSoup def trade_spider(max_pages): page = 1 while page <= max_pages:

0熱度

1回答

Facebook開放圖形調試器：錯誤200：

我在使用的網站與我的Facebook分享者www.moncorpsetmoi.com麻煩不能下載。調試器說：Can't download: Could not retrieve data from URL. 任何幫助，任何想法？

4熱度

2回答

Python網絡抓取錯誤 - TypeError：不能在類似字節的對象上使用字符串模式

我想構建一個網絡抓取器。目前，我正在學習Python。這是非常基礎！ Python代碼 import urllib.request import re htmlfile = urllib.request.urlopen("http://basketball.realgm.com/") htmltext = htmlfile.read() title = re.findall('<tit

0熱度

1回答

如何去網上找包？

我試圖用LiteIDE X22運行圍棋程序，但我得到的消息 C:/Go/bin/go.exe build [C:/Users/admins/Desktop/desktp/worm_scraper-master] worm_scraper.go:11:2: cannot find package "github.com/codegangsta/cli" in any of: C:\Go\

0熱度

1回答

HTML scraping - R scrapR

我想解析以HTML格式編碼的數據。我試圖解析字符串的例子是： Simplify the polynomial by combining like terms. <img src=\"/flx/math/inline/3x%2B12-11x%2B14\" class=\"x-math\" alt=\"3x+12-11x+14\" /> 我想<img前的文本和文本在alt= 所需的輸出： Simp

0熱度

2回答

Facebook不能正確地刮我的網站 - PHP網站

我運行這個網站www.miswag.net這是高度依賴於Facbeook。當我分享我在Facebook上的網站，我得到一個「403禁止」，這裏是Facebook的調試器輸出，當我嘗試刮我的網站：https://developers.facebook.com/tools/debug/og/object?q=http%3A%2F%2Fwww.miswag.net 請幫忙想出解決辦法..謝謝

0熱度

1回答

如何自動化我在python中編寫的每月運行的scraper程序？

我寫了一個Python程序，它使用正則表達式從網站中刪除信息。我的目標是創建一個cron作業來運行這個刮板每個月。我已經進入了Linux終端，在crontab -e類型，並添加到crontab文件的底部： ** #!/usr/bin/python chmod +x 30 8 1 * * /home/pi/Nikita/The_Scraper/thescraper.py PATH=/home/

1熱度

1回答

（使用Python）將輸出放入2個列表中，並將兩個列表中的每個元素進行配對

我想制定一些腳本，使用Python和BeautifulSoup在網頁上拾取一些文本，並將它們很好地放在一起。他們理想的結果是這樣的： Port_new_cape Jan 23, 2009 12:05 Brisbane July 24, 2002 03:12 Liaoning Aug 26, 2006 02:55 因爲網頁是在該公司的網站需要身份驗證和重定向，我的目標頁面的源代碼複製到一個文

0熱度

1回答

等待一切永遠CasperJS/PhantomJS

有沒有辦法或工作，以永遠等待什麼？ E.g. 我以fb爲例，因爲在我的網站上是同樣的事情。每次在我的Facebook時間線上有新帖子時，都會顯示一個面板「點擊此處加載帖子」。基本上，我需要的是在面板可見（點擊它）後觸發一些操作。我知道waitUntilVisible，但它只運行一次，我想永遠運行並捕獲很多次。