2014-09-29 66 views
1

我正在使用Python創建一個通過ScraperWiki的刮板,但是我遇到了我得到的結果的問題。我在ScraperWiki的文檔中將我的代碼放在basic example之外,一切看起來都非常相似,所以我不確定我的問題在哪裏。對於我的結果,我得到了頁面上的第一個文檔標題/ URL,但循環似乎存在問題,因爲它不會在該文檔之後返回剩餘的文檔。任何建議表示讚賞!Scraperwiki Python循環問題

import scraperwiki 
import requests 
import lxml.html 

html = requests.get("http://www.store.com/us/a/productDetail/a/910271.htm").content 
dom = lxml.html.fromstring(html) 

for entry in dom.cssselect('.downloads'): 
    document = { 
     'title': entry.cssselect('a')[0].text_content(), 
     'url': entry.cssselect('a')[0].get('href') 
    } 
    print document 

回答

1

您需要downloads類遍歷diva標籤:

for entry in dom.cssselect('.downloads a'): 
    document = { 
     'title': entry.text_content(), 
     'url': entry.get('href') 
    } 
    print document 

打印:

{'url': '/webassets/kpna/catalog/pdf/en/1012741_4.pdf', 'title': 'Rough In/Spec Sheet'} 
{'url': '/webassets/kpna/catalog/pdf/en/1012741_2.pdf', 'title': 'Installation and Care Guide with Service Parts'} 
{'url': '/webassets/kpna/catalog/pdf/en/1204921_2.pdf', 'title': 'Installation and Care Guide without Service Parts'} 
{'url': '/webassets/kpna/catalog/pdf/en/1011610_2.pdf', 'title': 'Installation Guide without Service Parts'}