urllib

1熱度

2回答

我的需求需要我從http url下載一個包並查看其相關進度。我在下面寫 import subprocess from urllib import urlopen class MyClass(object): ''' classdocs ''' def url_to_download(self): url_for_download = "

1熱度

1回答

當第一頁鏈接不同於其他人時，用BeautifulSoup刮掉多個網頁

我試圖抓取page！對於我正在進行的一個項目。我想獲取每輛車的所有頁面的詳細信息（價格，里程，傳輸和年齡）。我下面我的代碼遇到的問題是：第一頁的鏈接是從其他人（無頁碼1 < &頁= 1>）汽車的價格是不是裏面的不同點擊每個廣告以獲取詳細信息後，我想知道如果有人願意幫助我看看這個建議。由於 from bs4 import BeautifulSoup import requests

0熱度

2回答

pymysql不正確的寫入數據庫的俄文文本

我有以下問題：是否有一個網站編碼在windows-1251。我正在使用BeautifulSoup庫來獲取俄語所需的數據。爲了測試記錄文件中的值，它們顯示正確。然後我試圖將這些數據記錄到數據庫中，但得到這個錯誤：Warning: (1366, "Incorrect string value: '\\x98\\xD0\\xBD\\xD1\\x82\\xD0...' for column 'descri

0熱度

1回答

訪問Elasticsearch與Python 3

我想使用Python 3模塊urllib在localhost:9200來訪問數據庫Elasticsearch。我的腳本得到一個有效的請求（由Kibana生成）以JSON格式傳遞給STDIN。這裏是我做過什麼： import json import sys import urllib.parse import urllib.request er = json.load(sys.stdin

0熱度

1回答

蟒蛇 - 使用BeautifulSoup發佈刮瑕

我試圖使用Beautiful Soup 4和URLLIB作爲個人項目來抓取Stack Overflow作業頁面。我正面臨着一個問題，我試圖抓住每頁上列出的50個職位的所有鏈接。我正在使用正則表達式來識別這些鏈接。即使我正確地引用標籤，我面對這兩個具體問題：取而代之的是50個鏈接在源代碼中清晰可見的，我一次比一次只有25結果我的輸出（佔比之後刪除初始不相關的鏈接）鏈接在源代碼和我的輸出中排序的方

1熱度

1回答

使用urllib獲取和放入json數據格式請求（2）

我需要實現「put」和「get」REST API請求來發送JSON文件。問題是它必須使用urllib或urllib2模塊來完成（例如，沒有請求模塊）。有沒有關於如何做的簡要教程？謝謝！

1熱度

2回答

登錄一個網站並瀏覽另一個頁面

我有一個Python 2的腳本，用於登錄到網頁，然後向內移動以訪問指向同一網站但指向不同頁面的幾個文件。 Python 2讓我用我的憑證打開網站，然後創建一個opener.open()以保持可用的連接導航到其他頁面。下面是在Python 2工作代碼： $Your admin login and password LOGIN = "*******" PASSWORD = "********"

1熱度

1回答

蟒蛇 - urllib.request.urlretrieve拋出意外的異常未知的URL類型：「」

我試圖用urllib.request.retrieve（）我使用Python 3下載文件和下載是成功的，但我不知道爲什麼會拋出異常。由於某種原因，它會引發異常。這是主要的文件： import os import urllib.request zip_file_open = open("urls.txt") if not os.path.exists('zip'): os.

0熱度

1回答

關於使用urllib3替換urllib2

我試圖使用下面的代碼段。我正在使用Python 3，它有urllib3而不是urllib2。我想知道如何在urllib3中替換此部分fh = urllib2.urlopen('http://people.ku.edu/~gbohling/geostats/WGTutorial.zip') data = fh.read()。謝謝。 clusterfile = 'ZoneA.dat' if not

3熱度

1回答

登錄網站使用，而不是http.client

我試圖登錄到使用下面的代碼使用Python中urllib網站的urllib： import urllib.parse import urllib.request headers = {"Content-type": "application/x-www-form-urlencoded"} payload = urllib.parse.urlencode({"username": "USERN