Beautifulsoup刮書目錄

Question

for i in range(1,1000000): 

    page = urllib2.urlopen("http://www.palgrave.com/products/title.aspx?pid="+str(i)) 
    print "http://www.palgrave.com/products/title.aspx?pid="+str(i) 
    soup = BeautifulSoup(page) #retreive 

    books = soup.findAll("div",{"id":"Title"}) #process 

我需要爬遍整個目錄爲出版商。 我需要檢索：

• 書圖像
• 標題
• 版
• 出版商
• pubdate的
• PriceCurrency
• 約285 | 210
• 說明（一個Ajax標籤內）

Answer 1

使用XPath從這些位置提取內容