我怎樣才能用cURL和PHP刮掉LinkedIn公司頁面？在頭文件中找不到CSRF令牌錯誤

我想用cURL和PHP來抓取一些LinkedIn公司頁面。 LinkedIn的API不是爲此而構建的，所以我必須使用PHP來完成此操作。如果還有其他選擇，請讓我知道...我怎樣才能用cURL和PHP刮掉LinkedIn公司頁面？在頭文件中找不到CSRF令牌錯誤

在刮掉公司頁面之前，我必須通過cURL在個人帳戶中登錄LinkedIn，但似乎並不奏效。

我已經找到'沒有在頭部找到CSRF令牌'的錯誤。

有人可以幫我嗎？

謝謝！

<?php 

require_once 'dom/simple_html_dom.php'; 

$linkedin_login_page = "https://www.linkedin.com/uas/login"; 

$username = 'linkedin_username'; 
$password = 'linkedin_password'; 

$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, $linkedin_login_page); 
curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.52 Safari/537.17'); 
curl_setopt($ch, CURLOPT_AUTOREFERER, true); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); 
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); 
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE); 
curl_setopt($ch, CURLOPT_VERBOSE, 1); 

$login_content = str_get_html(curl_exec($ch)); 

if(curl_error($ch)) { 
    echo 'error:' . curl_error($ch); 
} 

if ($login_content) { 

    if (($login_content->find('input[name=isJsEnabled]', 0))) { 
    foreach($login_content->find('input[name=isJsEnabled]') as $element) { 

     $isJsEnabled = trim($element->value); 

     if ($isJsEnabled === "false") { 
     $isJsEnabled = "true"; 
     } 

    } 
    } 

    if (($login_content->find('input[name=source_app]', 0))) { 
    foreach($login_content->find('input[name=source_app]') as $element) { 
     $source_app = trim($element->value); 
    } 
    } 

    if (($login_content->find('input[name=tryCount]', 0))) { 
    foreach($login_content->find('input[name=tryCount]') as $element) { 
     $tryCount = trim($element->value); 
    } 
    } 

    if (($login_content->find('input[name=clickedSuggestion]', 0))) { 
    foreach($login_content->find('input[name=clickedSuggestion]') as $element) { 
     $clickedSuggestion = trim($element->value); 
    } 
    } 

    if (($login_content->find('input[name=session_redirect]', 0))) { 
    foreach($login_content->find('input[name=session_redirect]') as $element) { 
     $session_redirect = trim($element->value); 
    } 
    } 

    if (($login_content->find('input[name=trk]', 0))) { 
    foreach($login_content->find('input[name=trk]') as $element) { 
     $trk = trim($element->value); 
    } 
    } 

    if (($login_content->find('input[name=loginCsrfParam]', 0))) { 
    foreach($login_content->find('input[name=loginCsrfParam]') as $element) { 
     $loginCsrfParam = trim($element->value); 
    } 
    } 

    if (($login_content->find('input[name=fromEmail]', 0))) { 
    foreach($login_content->find('input[name=fromEmail]') as $element) { 
     $fromEmail = trim($element->value); 
    } 
    } 

    if (($login_content->find('input[name=csrfToken]', 0))) { 
    foreach($login_content->find('input[name=csrfToken]') as $element) { 
     $csrfToken = trim($element->value); 
    } 
    } 

    if (($login_content->find('input[name=sourceAlias]', 0))) { 
    foreach($login_content->find('input[name=sourceAlias]') as $element) { 
     $sourceAlias = trim($element->value); 
    } 
    } 

} 

curl_setopt($ch, CURLOPT_URL, "https://www.linkedin.com/uas/login-submit"); 
curl_setopt($ch, CURLOPT_POST, 1); 
curl_setopt($ch, CURLOPT_POSTFIELDS, 'isJsEnabled='.$isJsEnabled.'&source_app='.$source_app.'&tryCount='.$tryCount.'&clickedSuggestion='.$clickedSuggestion.'&session_key='.$username.'&session_password='.$password.'&session_redirect='.$session_redirect.'&trk='.$trk.'&loginCsrfParam='.$loginCsrfParam.'&fromEmail='.$fromEmail.'&csrfToken='.$csrfToken.'&sourceAlias='.$sourceAlias); 
curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt'); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
$store = curl_exec($ch); 

curl_setopt($ch, CURLOPT_URL, 'https://www.linkedin.com/company/facebook'); 
curl_setopt($ch, CURLOPT_POST, false); 
curl_setopt($ch, CURLOPT_POSTFIELDS, ""); 
$content = curl_exec($ch); 
curl_close($ch); 

echo $content; 

?>

來源

2017-02-19 Milan Passchier

你的問題可能會被關閉，因爲它不是很清楚你要求什麼，你提供的代碼在你的問題中沒有被真正引用，也沒有被問到具體的問題。但是你應該看看這個名爲[Scrapy]的Python網站抓取框架（https://scrapy.org/），它使得從網站上提取內容非常容易，甚至可以讓你的刮板登錄到LinkedIn，所以你可以查看內容。祝你好運。 –

嗨諾亞，謝謝你提及Scrapy。我想我的問題很清楚，我如何使用cURL和PHP來刮取LinkedIn公司頁面？ –

嘗試提出更具體的問題，cURL和PHP是2個巨大的工具/技術。嘗試澄清你已經完成了什麼，什麼不工作。 –

這裏是登錄的解決方案，如果你想確保工作只是保存在一個文件中的內容，你會看到登錄成功的

，而不是使用我們上面fetch_value使用simple_html_dom，你仍然可以使用 simple_html_dom

<?php 
function fetch_value($str, $find_start = '', $find_end = '') 
{ 
    if ($find_start == '') 
    { 
     return ''; 
    } 
    $start = strpos($str, $find_start); 
    if ($start === false) 
    { 
     return ''; 
    } 
    $length = strlen($find_start); 
    $substr = substr($str, $start + $length); 
    if ($find_end == '') 
    { 
     return $substr; 
    } 
    $end = strpos($substr, $find_end); 
    if ($end === false) 
    { 
     return $substr; 
    } 
    return substr($substr, 0, $end); 
} 

$linkedin_login_page = "https://www.linkedin.com/uas/login"; 
$linkedin_ref = "https://www.linkedin.com"; 

$username = 'username'; 
$password = 'password'; 

$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, $linkedin_login_page); 
curl_setopt($ch, CURLOPT_REFERER, $linkedin_ref); 
curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; rv:1.7.12) Gecko/20050915 Firefox/1.0.7)'); 
curl_setopt($ch, CURLOPT_AUTOREFERER, true); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); 
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); 
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2); 
curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt'); 
curl_setopt($ch, CURLOPT_COOKIEFILE, 'cookie.txt'); 


$login_content = curl_exec($ch); 


if(curl_error($ch)) { 
    echo 'error:' . curl_error($ch); 
} 

$var = array(
      'isJsEnabled' => 'false', 
      'source_app' => '', 
      'clickedSuggestion' => 'false', 
      'session_key' => trim($username), 
      'session_password' => trim($password), 
      'signin' => 'Sign In', 
      'session_redirect' => '', 
      'trk' => '', 
      'fromEmail' => ''); 
     $var['loginCsrfParam'] = fetch_value($login_content, 'type="hidden" name="loginCsrfParam" value="', '"'); 
     $var['csrfToken'] = fetch_value($login_content, 'type="hidden" name="csrfToken" value="', '"'); 
     $var['sourceAlias'] = fetch_value($login_content, 'input type="hidden" name="sourceAlias" value="', '"'); 

     $post_array = array(); 
      foreach ($var as $key => $value) 
      { 
       $post_array[] = urlencode($key) . '=' . urlencode($value); 
      } 
     $post_string = implode('&', $post_array); 

curl_setopt($ch, CURLOPT_URL, "https://www.linkedin.com/uas/login-submit"); 
curl_setopt($ch, CURLOPT_POST, true); 
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_string); 

$store = curl_exec($ch); 


if (stripos($store, "session_password-login-error") !== false){ 
    $err = trim(strip_tags(fetch_value($store, '<span class="error" id="session_password-login-error">', '</span>'))); 
    echo "Login error : ".$err; 
}elseif (stripos($store, 'profile-nav-item') !== false) { 
     curl_setopt($ch, CURLOPT_URL, 'https://www.linkedin.com/company-beta/10667/?pathWildcard=10667'); 
     curl_setopt($ch, CURLOPT_POST, false); 
     curl_setopt($ch, CURLOPT_POSTFIELDS, ""); 
     $content = curl_exec($ch); 
     curl_close($ch); 

     echo $content; 
}else{ 
    echo "unknown error"; 
} 


?>

你會發現，該公司無法載入網頁，因爲LinkedIn剛剛改變了他們的設計和公司的聯繫，以保持跟蹤公司開網頁。

來源

2017-02-19 23:32:22 Faxsy

Thankssss，它的工作原理！該公司網頁的數據源，這樣你就可以刮的是...是一個代理和一個假帳戶建議？ –

是的，我建議只使用一個假帳戶，因爲它可能被關閉 – Faxsy

嗨，我試圖執行你的代碼，但它返回說錯誤「你必須通過身份驗證才能訪問此頁面。」進入從線84沒有你的代碼 –

而不是嘗試刮登錄，只需登錄您的瀏覽器並將會話cookie複製到您的curl腳本。這將訣竅連接起來，認爲它只是你的網頁瀏覽器。有時候，Web服務器足夠聰明，可以查看其他瀏覽器類型的頭文件，並在請求無效的情況下，只要確保在curl腳本中設置了與用於登錄的瀏覽器相同的頭文件即可。讓我知道你是否需要我解釋如何做到這一點。

來源

2017-02-19 16:39:57 MikeSchem

感謝邁克幫助我......我不確切地知道你的意思。你的意思是我可以在我的本地瀏覽器中將LinkedIn的Cookie'JSESSIONID'存儲到我的curl腳本中？你能解釋我該怎麼做嗎？這是否也適用於不同的服務器而不是本地？ –

由於OP已經得到了「在標頭中找不到CSRF標記」的錯誤，我非常懷疑這會起作用。對於所有實際目的，這種技術都是CSRF攻擊！所以如果他們有CSRF保護，它應該停止這種方法。 – Adam

@亞當你應該檢查我的答案上面，CSRF被繞過，登錄過程進展順利。 – Faxsy

我怎樣才能用cURL和PHP刮掉LinkedIn公司頁面？在頭文件中找不到CSRF令牌錯誤

回答

相關問題