用python 3抓取多​​個網頁？

Question

我得到了csv文件與衆多的網址。爲了方便起見，我將它讀入了一個熊貓數據框。以後我需要做一些統計工作 - 熊貓只是方便的。它看起來有點像這樣：

import pandas as pd 
csv = [{"URLs" : "www.mercedes-benz.de", "electric" : 1}, {"URLs" : "www.audi.de", "electric" : 0}] 
df = pd.DataFrame(csv) 

我的任務是檢查網站中包含特定字符串，如果是用1添加一個額外的列，和別的0。例如：我想檢查，其中包含字符串car。

import requests 
page_content = requests.get("www.mercedes-benz.de") 
if "car" in page_content.text: 
    print ('1') 
else: 
    print ('0') 

我如何通過pd.URLs迭代/循環和存儲在數據框大熊貓的信息？

Answer 1

我覺得你DataFrame.iterrows需要通過數據環路，然後用loc創造新的價值：

for i, row in df.iterrows(): 
    page_content = requests.get(row['URLs']) 
    if "car" in page_content.text: 
     df.loc[i, 'car'] = '1' 
    else: 
     df.loc[i, 'car'] = '0' 

print (df) 
          URLs electric car 
0 http://www.mercedes-benz.de   1 1 
1   http://www.audi.de   0 1