我如何使用python-request獲取linkedin頁面？

Question

我使用下面的代碼嘗試抓取頁面中的鏈接，但似乎這種方法不能讓我登錄，只是告訴我未經授權的主頁。

#/usr/bin/env python3 
import requests 
from bs4 import BeautifulSoup 


payload = { 
'session-key': 'my account', 
'session-password': 'my password' 
} 

URL = 'https://www.linkedin.com/uas/login' 
s = requests.session() 
s.post(URL, data=payload) 

r = s.get('http://www.linkedin.com/nhome') 
soup = BeautifulSoup(r.text) 
print(soup) 

`

Answer 1

這是多比到目前爲止你有什麼更復雜。

你需要做這樣的事情：

• 負載https://www.linkedin.com/uas/login
• 解析與BeautifulSoup響應，以獲得登錄表單，所有的隱藏的表單字段等。（CSRF的人是特別重要的，因爲服務器將拒絕沒有正確值的POST請求）。
• 建立你的POST數據字典從解析的登錄表單數據+您的用戶名和密碼，
• POST數據到https://www.linkedin.com/uas/login-submit（您可能需要假某些標題也一樣，它可能只接受被標記爲AJAX請求）
• 終於得到http://www.linkedin.com/nhome

您可以通過在網絡選項卡鉻/ Firefox的開放的開發工具和經歷的登錄過程中看到了整個過程。

像這樣的東西應該工作：

import requests 
from bs4 import BeautifulSoup 

# Get login form 
URL = 'https://www.linkedin.com/uas/login' 
session = requests.session() 
login_response = session.get('https://www.linkedin.com/uas/login') 
login = BeautifulSoup(login_response.text) 

# Get hidden form inputs 
inputs = login.find('form', {'name': 'login'}).findAll('input', {'type': ['hidden', 'submit']}) 

# Create POST data 
post = {input.get('name'): input.get('value') for input in inputs} 
post['session_key'] = 'username' 
post['session_password'] = 'password' 

# Post login 
post_response = session.post('https://www.linkedin.com/uas/login-submit', data=post) 

# Get home page 
home_response = session.get('http://www.linkedin.com/nhome') 
home = BeautifulSoup(home_response.text)