URLConnection無法通過代理正確處理內容長度

Question

我遇到了以下問題：當通過代理使用URLConnection時，內容長度始終設置爲-1。

首先我檢查了代理真的返回Content-Length（lynx和wget通過代理也在努力;沒有別的路可走互聯網從本地網絡）：我寫

$ lynx -source -head ftp://ftp.wipo.int/pub/published_pct_sequences/publication/2003/1218/WO03_104476/WO2003-104476-001.zip 
HTTP/1.1 200 OK 
Last-Modified: Mon, 09 Jul 2007 17:02:37 GMT 
Content-Type: application/x-zip-compressed 
Content-Length: 30745 
Connection: close 
Date: Thu, 02 Feb 2012 17:18:52 GMT 

$ wget -S -X HEAD ftp://ftp.wipo.int/pub/published_pct_sequences/publication/2003/1218/WO03_104476/WO2003-104476-001.zip 
--2012-04-03 19:36:54-- ftp://ftp.wipo.int/pub/published_pct_sequences/publication/2003/1218/WO03_104476/WO2003-104476-001.zip 
Resolving proxy... 10.10.0.12 
Connecting to proxy|10.10.0.12|:8080... connected. 
Proxy request sent, awaiting response... 
    HTTP/1.1 200 OK 
    Last-Modified: Mon, 09 Jul 2007 17:02:37 GMT 
    Content-Type: application/x-zip-compressed 
    Content-Length: 30745 
    Connection: close 
    Age: 0 
    Date: Tue, 03 Apr 2012 17:36:54 GMT 
Length: 30745 (30K) [application/x-zip-compressed] 
Saving to: `WO2003-104476-001.zip' 

在Java：

URL url = new URL("ftp://ftp.wipo.int/pub/published_pct_sequences/publication/2003/1218/WO03_104476/WO2003-104476-001.zip"); 
int length = url.openConnection().getContentLength(); 
logger.debug("Got length: " + length); 

和我得到-1。我開始調試FtpURLConnection和事實證明，必要的信息是HttpURLConnection.responses場但它永遠不會正確地從那裏居住底層：

（有在頭Content-Length: 30745）。內容長度在您開始讀取流或甚至在讀取流之後不會更新。代碼：

URL url = new URL("ftp://ftp.wipo.int/pub/published_pct_sequences/publication/2003/1218/WO03_104476/WO2003-104476-001.zip"); 
URLConnection connection = url.openConnection(); 

logger.debug("Got length (1): " + connection.getContentLength()); 

InputStream input = connection.getInputStream(); 

byte[] buffer = new byte[4096]; 
int count = 0, len; 
while ((len = input.read(buffer)) > 0) { 
    count += len; 
} 

logger.debug("Got length (2): " + connection.getContentLength() + " but wanted " + count); 

輸出：

Got length (1): -1 
Got length (2): -1 but wanted 30745 

現在看來似乎是在JDK6中的錯誤，所以我已經打開了新的bug#7168608。

• 如果有人可以幫我寫代碼應該返回正確的內容長度直接FTP連接，FTP連接通過代理和本地file:/網址，我將不勝感激。
• 如果給出的問題不能用JDK6解決，建議任何其他庫肯定適用於我提到的所有情況（Apache Http Client？）。

Answer 1

一兩件事來檢查我會做的是實際讀取響應（註銷我的頭頂，所以我們期待的錯誤）：

URLConnection connection= url.openConnection(); 
InputStream input= connection.getInputStream(); 
byte[] buffer= new byte[4096]; 
while(input.read(buffer) > 0) 
    ; 
logger.debug("Got length: " + getContentLength()); 

如果你所得到的大小爲好，再看看爲了使URLConnection讀取標題而不是數據以避免讀取整個響應。

Answer 2

請記住，代理通常會更改基礎實體的表示形式。在你的情況下，我懷疑代理可能正在改變傳輸編碼。這反過來使Content-Length即使提供也沒有意義。

你觸犯屬於HTTP 1.1規範的以下兩個部分組成：

4.4 Message Length

1. ...
2. ...
3. 如果Content-Length頭字段（第14.13節）存在時，其OCTET中的十進制值表示實體長度和傳輸長度。如果這兩個長度不同（即，如果存在Transfer-Encoding頭部字段），則不應發送Content-Length頭部字段。如果收到一個消息時同時使用Transfer-Encoding頭域和Content-Length頭域，則後者必須被忽略。

14.41 Transfer-Encoding

的傳輸編碼通用頭字段指示什麼（如果有的話）類型的轉換是爲了在發送者和接收者之間安全地傳遞它被應用到消息主體。這與內容編碼的不同之處在於，傳輸編碼是消息的屬性，而不是實體的屬性。

Transfer-Encoding  = "Transfer-Encoding" ":" 1#transfer-coding 

轉移編碼在3.6節中定義。一個例子是：

Transfer-Encoding: chunked 

如果多個編碼已應用於一個實體，所述轉移 - 值編碼必須在它們被應用的順序列出。有關編碼參數的附加信息可以由本規範未定義的其他實體標題字段提供。

許多較早的HTTP/1.0應用程序不理解Transfer-Encoding標頭。

這樣的URLConnection然後忽略Content-Length頭，按照該規範，因爲它的存在毫無意義的分塊轉讓

在調試器的截圖，目前還不清楚該Transfer-Encoding是否存在頭部。請讓我們知道...

在進一步調查 - 似乎山貓不會顯示所有返回時，你發出一個lynx -head標題。它沒有顯示Transfer-Encoding標題對於此討論至關重要。

這裏的差異與公開可見的網站

Ξ▶ lynx -useragent='dummy' -source -head http://www.bbc.co.uk                             
HTTP/1.1 302 Found 
Server: Apache 
X-Cache-Action: PASS (non-cacheable) 
X-Cache-Age: 0 
Content-Type: text/html; charset=iso-8859-1 
Date: Tue, 03 Apr 2012 13:33:06 GMT 
Location: http://www.bbc.co.uk/mobile/ 
Connection: close 

Ξ▶ wget -useragent='dummy' -S -X HEAD http://www.bbc.co.uk                             
--2012-04-03 14:33:22-- http://www.bbc.co.uk/ 
Resolving www.bbc.co.uk... 212.58.244.70 
Connecting to www.bbc.co.uk|212.58.244.70|:80... connected. 
HTTP request sent, awaiting response... 
HTTP/1.1 200 OK 
Server: Apache 
Cache-Control: private, max-age=15 
Etag: "7e0f292b2e5e4c33cac1bc033779813b" 
Content-Type: text/html 
Transfer-Encoding: chunked 
Date: Tue, 03 Apr 2012 13:33:22 GMT 
Connection: keep-alive 
X-Cache-Action: MISS 
X-Cache-Age: 0 
X-LB-NoCache: true 
Vary: Cookie 

證明由於我顯然不是你的內部網絡，我不能複製你的確切情況，但請驗證您真的不通過代理時獲得Transfer-Encoding標頭。

Answer 3

我認爲這是與處理代理的ftp連接有關的jdk中的一個「bug」。當代理正在使用時，FtpURLConnection委託給HttpURLConnection。 但是，在這種情況下，FtpURLConnection似乎沒有將任何頭管理委託給此HttpURLConnection。因此，您可以正確獲取流，但我不認爲您可以訪問任何「標題」值，如內容長度或內容類型。 （這是基於對1.6的openjdk源代碼的快速瀏覽，我可能錯過了一些東西）。