的Python /硒webscraping

Question

用於data_links鏈路： driver.get（鏈接）

review_dict = {} 
# get the size of company 
size = driver.find_element_by_xpath('//[@id="EmpBasicInfo"]//span') 

#location = ???也需要獲得這部分。

我的問題：

我想刮一個網站。我正在使用selenium/python從span中刪除「501到1000員工」和「Biotech & Pharmaceuticals」，但我無法使用xpath從網站中提取文本元素。我嘗試了getText，獲取屬性的所有內容。請幫忙！

這是每次迭代的輸出：我沒有得到文本值。

預先感謝您！

Answer 1

看來你想要的，而不是用一些元素交互只有文字，一個解決方案是使用BeautifulSoup解析HTML的你，與selenium獲得由JavaScript內置的代碼，你應該先把HTML內容與html = driver.page_source ，然後你可以這樣做：

html =''' 
<div id="CompanyContainer"> 
<div id="EmpBasicInfo"> 
<div class=""> 
<div class="infoEntity"></div> 
<div class="infoEntity"> 
<label>Industry</label> 
<span class="value">Woodcliff</span> 
</div> 
<div class="infoEntity"> 
<label>Size</label> 
<span class="value">501 to 1000 employees</span> 
</div> 
</div> 
</div> 
</div> 
''' # Just a sample, since I don't have the actual page to interact with. 
soup = BeautifulSoup(html, 'html.parser') 
>>> soup.find("div", {"id":"EmpBasicInfo"}).findAll("div", {"class":"infoEntity"})[2].find("span").text 
'501 to 1000 employees' 

或者，當然了，避免特定的索引和尋找<label>Size</label>，它應該是更具可讀性：

>>> [a.span.text for a in soup.findAll("div", {"class":"infoEntity"}) if (a.label and a.label.text == 'Size')] 
['501 to 1000 employees'] 

使用selenium你可以做：

>>> driver.find_element_by_xpath("//*[@id='EmpBasicInfo']/div[1]/div/div[3]/span").text 
'501 to 1000 employees'