2015-12-29 101 views
-1

我想要使用下面的腳本,但不是在URL中輸入,而是希望它循環並從Links.csv文件中提取URL。最終我想將所有結果導出到一個新的CSV文件中。Python27:如何使用URLS的CSV文件來循環此腳本?

import csv 
import urllib2 
import re 
import requests 
from BeautifulSoup import BeautifulSoup 

f = open('Links.csv') 

csv_f = csv.reader(f) 

Links =[] 

for row in csv_f: 
    Links.append(row[0]) 

url = (Links) 
response = requests.get(url) 
html = response.content 

soup = BeautifulSoup(html) 
Title = soup.find(id="Title") 
Price = soup.find(id="price") 

print Title.text, Price.text 
f.close() 

任何幫助,將不勝感激。

+0

遍歷的URL列表? –

回答

0

使用功能

def get_title_and_price(url): 
    response = requests.get(url) 
    html = response.content 
    soup = BeautifulSoup(html) 
    return soup.find(id="Title"),soup.find(id="price") 

data = [(row[0],get_title_and_price(row[0]))for row in csv_f] 
+0

我想這一點,但它似乎沒有工作: '導入CSV 進口的urllib2 進口重新 導入請求 從BeautifulSoup進口BeautifulSoup F =開放( 'Links.csv', 「R」) csv_f = csv.reader(F) 鏈接= [] 爲行中csv_f: Links.append(行[0]) URL = [鏈接] \t DEF get_title_and_price(URL): 響應= requests.get(url) html = response.content soup = BeautifulSoup(html) return soup.find(id =「Title」),soup.find(id =「price」) data = [(row [0],get_title_and_price(row [0]))for csv_f] 打印數據 \t f.close()' – Aly

+0

什麼不工作? –

+0

我回來的迴應是「[]」,沒有任何錯誤。不知道它是否與實際的文件本身有關,這是簡單的url列表。 – Aly

相關問題