Python中的URL解析 - 規範化路徑中的雙斜槓

Question

我正在研究一個應用程序，它需要解析HTML頁面中的URL（主要是HTTP URL） - 我無法控制輸入，並且其中一部分與預期的一樣，有點凌亂。

的一個問題，我頻頻遭遇是，是裏urlparse非常嚴格，當談到有雙斜線的路徑部分解析和加入網址，例如（甚至可能是越野車？）：

testUrl = 'http://www.example.com//path?foo=bar' 
urlparse.urljoin(testUrl, 
       urlparse.urlparse(testUrl).path) 

而不是預期的結果http://www.example.com//path（或甚至更好，與規範化的單斜槓），我結束了http://path。

順便說一句，我運行這樣的代碼的原因是因爲它是我迄今爲止發現的脫離URL的查詢/碎片部分的唯一方式。也許有更好的方法來做到這一點，但我找不到一個。

任何人都可以推薦一種方法來避免這種情況，或者我應該只使用一個（相對簡單的，我知道）正則表達式來規範自己的路徑嗎？

Answer 1

如果你只是想獲得無查詢部分的URL，我會跳過裏urlparse模塊，只是做：

testUrl.rsplit('?') 

該URL將在返回的列表的索引0處以及索引1處的查詢處。

不可能有兩個'？'在一個網址，所以它應該適用於所有的網址。

Answer 2

它在official urlparse docs提到：

如果URL是絕對URL（即用//或方案開始：//）的URL的主機名和/或方案將是目前的結果。例如

urljoin('http://www.cwi.nl/%7Eguido/Python.html', 
...   '//www.python.org/%7Eguido') 
'http://www.python.org/%7Eguido' 

如果你不希望這樣的行爲，預處理與urlsplit（）和urlunsplit（）的URL，消除可能的方案和netloc部分。

所以，你可以這樣做：

urlparse.urljoin(testUrl, 
      urlparse.urlparse(testUrl).path.replace('//','/')) 

輸出= 'http://www.example.com/path'

Answer 3

難道這不是一個解決方案嗎？

urlparse.urlparse(testUrl).path.replace('//', '/') 

Answer 4

的路徑（//path）單獨是無效的，其迷惑函數和被解釋爲一個主機名

http://tools.ietf.org/html/rfc3986.html#section-3.3

如果URI不包含授權組成部分，則路徑不能以兩個斜槓字符（「//」）開頭。

我特別不喜歡這兩種解決方案，但他們的工作：

import re 
import urlparse 

testurl = 'http://www.example.com//path?foo=bar' 

parsed = list(urlparse.urlparse(testurl)) 
parsed[2] = re.sub("/{2,}", "/", parsed[2]) # replace two or more/with one 
cleaned = urlparse.urlunparse(parsed) 

print cleaned 
# http://www.example.com/path?foo=bar 

print urlparse.urljoin(
    testurl, 
    urlparse.urlparse(cleaned).path) 

# http://www.example.com//path 

取決於你在做什麼，你可以做手工加入：

import re 
import urlparse 

testurl = 'http://www.example.com//path?foo=bar' 
parsed = list(urlparse.urlparse(testurl)) 

newurl = ["" for i in range(6)] # could urlparse another address instead 

# Copy first 3 values from 
# ['http', 'www.example.com', '//path', '', 'foo=bar', ''] 
for i in range(3): 
    newurl[i] = parsed[i] 

# Rest are blank 
for i in range(4, 6): 
    newurl[i] = '' 

print urlparse.urlunparse(newurl) 
# http://www.example.com//path 

Answer 5

嘗試此：

def http_normalize_slashes(url): 
    url = str(url) 
    segments = url.split('/') 
    correct_segments = [] 
    for segment in segments: 
     if segment != '': 
      correct_segments.append(segment) 
    first_segment = str(correct_segments[0]) 
    if first_segment.find('http') == -1: 
     correct_segments = ['http:'] + correct_segments 
    correct_segments[0] = correct_segments[0] + '/' 
    normalized_url = '/'.join(correct_segments) 
    return normalized_url 

示例網址：

print(http_normalize_slashes('http://www.example.com//path?foo=bar')) 
print(http_normalize_slashes('http:/www.example.com//path?foo=bar')) 
print(http_normalize_slashes('www.example.com//x///c//v///path?foo=bar')) 
print(http_normalize_slashes('http://////www.example.com//x///c//v///path?foo=bar')) 

返回結果：

http://www.example.com/path?foo=bar 
http://www.example.com/path?foo=bar 
http://www.example.com/x/c/v/path?foo=bar 
http://www.example.com/x/c/v/path?foo=bar 

希望它能幫助.. :)