scrape

2熱度

3回答

我試圖讓公司從angellist https://angel.co/companies 我這個代碼 from bs4 import BeautifulSoup import urllib2 headers = { 'User-Agent' : 'Mozilla/5.0' } req = urllib2.Request('https://angel.co/companies', None,

1熱度

2回答

刮掉html數據Vba

不會說英語。需要一些幫助，我想打從一個網站的部分中提取數據的功能如下的HTML網站 CODE HTML 碼功能。 Function GetElementById(url As String, id As String, Optional isVolatile As Boolean) Application.Volatile (isVolatile) On Error Res

0熱度

1回答

如何使用網絡爬蟲/刮板登錄？

我想創建一個程序，它可以清除我的帳戶讀取多個網站的列表，並將它們添加到我的Safari閱讀列表中。但是，我不能只使用普通鏈接來抓取，因爲它需要登錄。我該如何克服這個問題？

2熱度

1回答

需要使用Jsoup登錄的Java廢料網站

我想從streetinsider.com上打印一些數據（class =「news_article」的div）。我創建了一個帳戶，我需要登錄才能訪問這些數據。任何人都可以解釋爲什麼這段代碼不工作嗎？我嘗試了很多，但沒有任何工作。 public static final String SPLIT_INTERNET_URL = "http://www.streetinsider.com/Special

-1熱度

2回答

Scrapy返回301 for reddit.com

我使用reddit作爲學習scrappy的基礎。它工作得很好，但現在它總是返回301重定向，即使只是用「scrapy shell www.reddit.com」調用shell。任何想法如何解決這一問題？

0熱度

1回答

Python 3中刮的HTML數據

我打算fromthe以下網站的HTML 鏈接提取數據：http://movie.walkerplus.com/list/2015/12/ HTML的某些部分顯示如下： <dl class="directorList"> <dt>監督</dt> <dd> <a href="/person/209306/" title="">スティーヴ・マーティノ</a> </dd> </dl> <dl

0熱度

1回答

從使用Ajax/Javascript的網站收集數據。 - CURL

我試圖通過curl（通過PHP）刮搜索表單。我認爲一切都是正確的，或接近它，但似乎並不是這樣。爲了給出一點背景，我試圖從搜索表單中搜集（或刮取）數據，用戶在其中插入日期範圍，然後提交搜索。結果顯示在搜索輸入的下方。該頁面正在使用AJAX/JavaScript加載數據。當我運行PHP腳本時，我沒有收到任何迴應。我已添加print_r以查看結果，但沒有顯示。這是我的腳本。歡迎提供所有建議。 <?p

0熱度

1回答

用Beautifulsoup和Requests刮取'N'頁（如何獲得真實頁碼）

我想獲取網站中的所有標題（）。 http://www.shyan.gov.cn/zwhd/web/webindex.action 現在，我的代碼只能成功擦除一個頁面。但是，我想在上面的網站上找到多個可用的頁面。例如，通過上面的url，當我點擊鏈接到「第2頁」時，整個網址不會改變。我查看了頁面源代碼，並看到javascript代碼像這樣前進到下一頁：javascript：gotopage（2）

0熱度

1回答

蟒蛇請求url與用戶ip

我在服務器上運行此腳本試圖請求m3u8文件，但我不得不請求m3u8文件與用戶IP地址我知道如何獲得用戶IP與os.environ["REMOTE_ADDR"]但努力在哪裏把它和如何要求 #!/usr/bin/env python #-*- coding: utf-8 -*- import urllib2,urllib,re import os #os.environ["REMOTE_ADD

-3熱度

1回答

Scrap webdata在Shopify產品頁面上顯示

我試圖從棋盤遊戲BoardGameGeek上刮下「平均評分」（與星星）和「評分數量」數據。我想在Shopify網上商店的產品頁面上顯示數據。有沒有辦法用一些簡單的HTML/JavaScript/PHP來做到這一點？如果它每天更新或每週更新。任何幫助，將不勝感激。謝謝！