scraper

0熱度

1回答

http://www.iata.org/publications/Pages/code-search.aspx 的URL發送到Web表單想能夠通過多個通航空公司代碼的網址，所以我可以循環。我希望能通過像「？airlinecode = AL」等東西，並颳去結果的HTML。我看了一下html源代碼，但它超出了我的理解。欣賞是否有人能解決這個問題。

0熱度

1回答

如何在本地從asp.net形式使用GOUTTE

我試圖創建一個使用GOUTTE一個PHP腳本登錄點擊提交按鈕保存下載文件。將本地csv文件保存下載（如果手動完成）。這個應用程序（http://portal.agrinet.ie/）是建立在asp.net 我能夠成功登錄，並通過代碼點擊提交按鈕太多的形式，但它目前只返回這個結果： Symfony\Component\DomCrawler\Crawler Object (

0熱度

1回答

獲取JSON數據與Python

我想湊這個鏈接的網站： https://www.whoscored.com/Players/11119/Show/Lionel-Messi 我想從彙總的數據，防守，進攻的標籤和我試圖這： import requests # This is the json data link i wish to get from the defensive tab (from developer tools)

0熱度

1回答

通過Express傳遞數組時獲取'undefined'res.render函數

我在基本節點應用程序中的第一次嘗試。如果我測試運行此文件（> node index.js）與其中的console.log（eventsArray），陣列成功從命令窗口中刮板模塊輸出數據，所以我的刮板模塊正在工作。如果我設置eventsArray = ['this'，'is，'a'，'test'，'array'];在index.js中作爲一個測試，然後這些字符串會顯示在主頁上，就像在Expres

1熱度

1回答

屬性始終沒有

我一直在試圖建立一個網站刮板收集的名稱，價格和網站上的對象的區，但不能用它做任何事情，因爲它提出了一個錯誤： AttributeError: 'NoneType' object has no attribute 'strip'. 我該怎麼辦？幫幫我！另外我如何去第二個div？當我做districtcontainers = souped.find_all("div",{"class":"announ

0熱度

1回答

Nodejs寫一個可以讀取JS保護網站的刮板

nodejs對我來說是新的，我剛剛開始學習web刮板。問題是我需要廢棄一個受JS保護的網站。所以我需要從網站獲取手機，但只有在用戶點擊「顯示號碼」按鈕後纔會顯示帶有電話號碼的電話號碼。有沒有什麼方法或npm獲得數字？這裏是網站enter link description here，但它是俄語。所以按鈕是「показатьтелефоны」。先謝謝你！

0熱度

1回答

使用java jsoup登錄不起作用

在嘗試了不同的教程並閱讀大量帖子後，我仍然無法使用jsoup登錄到網站。這是我的代碼 Connection.Response response = Jsoup.connect("https://www.ivolatility.com/login.j") .method(Connection.Method.GET) .execute(); respo

0熱度

1回答

使用scrapy從網站下載並保存圖像

我是scrapy和Python的新手，所以我的問題可能很簡單。通過使用現有的網站指南，我寫了一個刮板，它刮掉網站的頁面，並在輸出文件中顯示圖像URL，名稱和...。我想下載一個目錄中的圖像，但輸出目錄是空的！這裏是我的代碼： myspider.py import scrapy class BrickSetSpider(scrapy.Spider): name = 'brick_spider`

-3熱度

2回答

PERL WWW ::的編劇不行，不返回內容

Usualy我使刮刀在Ruby中，但決定在Perl做。當我運行我的腳本時，我看到一些打開的網址非常非常慢。我感謝，也許它的重定向問題？或者，也許它的JS網站這是爲什麼問題。我決定使用一些可以打開JS網站的模塊。所以我期待cpan doc，拿下代碼並嘗試運行它。沒有什麼內容。我做錯了什麼？請糾正我。或者，也許建議我smth。我嘗試使用Selenium，但安裝有問題，當我嘗試在Linux控制檯中

1熱度

1回答

Python re.findall事後返回不需要的字符串鏈接

我有一個使用BeautifulSoup刮的python腳本。這是我的代碼： re.findall('stream:\/\/.+', link) ，其目的是找到像鏈接： stream://987cds9c8ujru56236te2ys28u99u2s 但它也返回一個字符串這樣的： stream://987cds9c8ujru56236te2ys28u99u2s [SD] Spanish -