2017-11-25 81 views
-1

這是我的代碼:如何將數據保存到csv文件,而無需在Python 3x中重複。

soup = BeautifulSoup(browser.page_source, 'html.parser') 
results = soup.find_all('div', attrs={'class': 'col-xs-6 col-sm-6 col-md-3 search-item '}) 
records = [] 
for result in results: 
     name = result.find('p', attrs={'class':'small mb20 colorgreen'}) 
     city = result.find('span', attrs={'class':'map-item-city block mb0 colorgreen'}).text 
     records.append((name, city)) 
     print (name, city) 
     df = pd.DataFrame(records, columns = ['name', 'city']) 
     df.to_csv('gettin.csv', index=False, mode = 'a', encoding='utf-8') 

在生成CSV文件,我有兩列(名稱,市)。第一個值的重複次數與其他記錄的次數相同。

Name   City 
Oddział w Warszawie ul. Wodzireja 55, 59-220 Warszawa 
0 1 
Oddział w Warszawie ul. Wodzireja 55, 59-220 Warszawa 
Oddział w Warszawie ul. Cholewinka 4, 59-220 Warszawa 
0 1 
Oddział w Warszawie ul. Wodzireja 55, 59-220 Warszawa 
Oddział w Warszawie ul. Cholewinka 4, 59-220 Warszawa 
Oddział w Warszawie ul. Waclawa 5, 59-220 Warszawa 
0 1 
Oddział w Warszawie ul. Wodzireja 55, 59-220 Warszawa 
Oddział w Warszawie ul. Cholewinka 4, 59-220 Warszawa 
Oddział w Warszawie ul. Waclawa 5, 59-220 Warszawa 
Oddział w Warszawie ul. Balwanka 5, 59-220 Warszawa 

如何得到沒有重複的結果?

Name    City 
Oddział w Warszawie ul. Wodzireja 55, 59-220 Warszawa 
Oddział w Warszawie ul. Cholewinka 4, 59-220 Warszawa 
Oddział w Warszawie ul. Waclawa 5, 59-220 Warszawa 
Oddział w Warszawie ul. Balwanka 5, 59-220 Warszawa 
+2

這是如何工作的?你在'df'中有兩列,但在你的「輸出」中最多有4個值?你如何把它變成[mcve]? –

回答

1

我相信你需要外loop創建df並添加drop_duplicates

records = [] 
for result in results: 
     name = result.find('p', attrs={'class':'small mb20 colorgreen'}) 
     city = result.find('span', attrs={'class':'map-item-city block mb0 colorgreen'}).text 
     records.append((name, city)) 
     print (name, city) 

df = pd.DataFrame(records, columns = ['name', 'city']).drop_duplicates() 
df.to_csv('gettin.csv', index=False, encoding='utf-8') 
+0

我非常感謝你的幫助。有用。 – BigD

相關問題