[修正] JSOUP沒有得到完整的HTML，但在python的urllib2工作

網站 URL = http://m.ibuildapp.com/site/ibuildapp_3/default?filter=webapp&searchText=&searchCat=254&page=1&url=http%3A%2F%2Fibuildapp.com%2Fprojects.php%3F#2601 時與Java（JSOUP）爬簡化版，獲得完整的源代碼（有沒有AJAX）但蟒蛇的urllib2獲得了整個很容易。 Java代碼：[修正] JSOUP沒有得到完整的HTML，但在python的urllib2工作

Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293 Safari/6531.22.7").timeout(10000).get();

只得到一半的網頁的源代碼中的Python代碼

import urllib2 
request = urllib2.Request("http://m.ibuildapp.com/site/ibuildapp_3/default?filter=webapp&searchText=&searchCat=254&page=1&url=http%3A%2F%2Fibuildapp.com%2Fproject$ 
opener = urllib2.build_opener() 
request.add_header('User-Agent', 'Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293$ 
filter=webapp&searchText=&searchCat=254&page=1&url=http%3A%2F%2Fibuildapp.com%2Fprojects$ 
data = opener.open(request).read() 
print data

出了什麼問題？我曾嘗試添加引薦來源，餅乾，還添加標題。

添加頁眉

Accept-Encoding:gzip, deflate

固定的問題

來源

2013-06-04 Manik

你能提供兩者的結果，包括doc.html（）; –

你可以請你的解決方案作爲答案，並*接受*它？所以其他人可以看到它已經解決了。 – ollo

添加頁眉

Accept-Encoding:gzip, deflate

固定的問題

來源

2013-06-08 08:33:11 Manik

[修正] JSOUP沒有得到完整的HTML，但在python的urllib2工作

回答

相關問題