PHP Curl GET＆POST

Question

我正在使用以下代碼在當前捲曲URL，這可以很好地與連接到URL結尾或POST數據的get一起使用。但不是和get和post。

但是，當我使用高級休息客戶端（添加谷歌瀏覽器）它工作得很好。儘管如此，我看不到它發送的模仿它的請求。

繼承人我打電話給它。

$fields = array(
     'searchPaginationResultsPerPage'=>500    ); 
foreach($fields as $key=>$value) { $fields_string .= $key.'='.$value.'&'; } 
$fields_string = rtrim($fields_string,'&'); 

$curl = curl_init(); 
curl_setopt($curl, CURLOPT_URL, 'http://www.microgenerationcertification.org/mcs-consumer/installer-search.php?searchPaginationPage=1'); 
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true); 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($curl,CURLOPT_POST,count($fields)); 
curl_setopt($curl,CURLOPT_POSTFIELDS,$fields_string); 
curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 80); 
$str = curl_exec($curl); 
curl_close($curl); 

只是使用這個作爲一個測試比其他任何東西，但似乎無法得到它的工作。我能拿到第500個結果所有的時間，但不能下500

Answer 1

這工作

$fields = array (
     'searchPaginationResultsPerPage' => 500, 
     'searchPaginationPage' => 1 
); 

$headers = array (
     "Connection: keep-alive", 
     "User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.162 Safari/535.19", 
     "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", 
     "Accept-Encoding: gzip,deflate,sdch", 
     "Accept-Language: en-US,en;q=0.8", 
     "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.3" 
); 

$fields_string = http_build_query ($fields); 
$cookie = 'cf6c650fc5361e46b4e6b7d5918692cd=49d369a493e3088837720400c8dba3fa; __utma=148531883.862638000.1335434431.1335434431.1335434431.1; __utmc=148531883; __utmz=148531883.1335434431.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); mcs=698afe33a415257006ed24d33c7d467d; style=default'; 
$ch = curl_init(); 
curl_setopt ($ch, CURLOPT_URL, 'http://www.microgenerationcertification.org/mcs-consumer/installer-search.php?searchPaginationPage=1&searchPaginationResultsPerPage=500'); 
curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, true); 
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, 80); 
curl_setopt ($ch, CURLOPT_COOKIE, $cookie); 
curl_setopt ($ch, CURLOPT_HTTPHEADER, $headers); 

$str = curl_exec ($ch); 
curl_close ($ch); 

echo $str; 

您需要的cookie信息，並確保捲曲使用GET無法發佈

見演示：http://codepad.viper-7.com/gTThxX（我希望cokkies不befor過期Ë您觀看）

Answer 2

不知道爲什麼失敗了，看起來不錯。當你跳過捲曲，去爲PHP流的方法會發生什麼：

$postdata = http_build_query(
    array(
     'searchPaginationResultsPerPage' => 500 
    ) 
); 
$opts = array('http' => 
    array(
     'method' => 'POST', 
     'header' => 'Content-type: application/x-www-form-urlencoded', 
     'content' => $postdata 
    ) 
); 

$context = stream_context_create($opts); 

$result = file_get_contents('http://www.microgenerationcertification.org/mcs-consumer/installer-search.php?searchPaginationPage=1', false, $context); 

Answer 3

我看看你刮的頁面，發現如下：

• 當您更改每頁結果它張貼您的搜索再次
• 他們似乎是使用會話來存儲您的搜索參數

使用CURL時，您不保留會話ID（並且這樣做可能比您想要的複雜一些），因此這不會與網站上的行爲相同。

但我注意到，但是如果您將searchPaginationResultsPerPage參數追加到URL，它的工作正常。就像這樣：

http://www.microgenerationcertification.org/mcs-consumer/installer-search.php?searchPaginationPage=0&searchPaginationResultsPerPage=500

這意味着你可以實際使用的file_get_contents，而不是擔心捲曲的東西。