如何從flipkart評論頁面獲取正確的選擇器進行網頁抓取？

評論是在選擇器與多個類「row _3wYu6I _3BRC7L」。但在抓取時，響應沒有上面的選擇器，而是具有「row _3wYu6I _1KVtzT」選擇器，並且此選擇器具有空列表。實際上flipkart頁面Flipkart page中具有值「_3BRC7L」的所有類都被轉換爲值爲「 _1KVtzT「作爲迴應，我得到了通過刮擦。 The list of elements that I get when using xpath of the parent class。我應該如何解決這個問題？如何從flipkart評論頁面獲取正確的選擇器進行網頁抓取？

來源

2016-11-10 Sai Lakshmi Yadlapati

你會顯示你的代碼嗎？您是否檢查過這些類是否爲每個頁面加載時隨機生成的值？_3BRC7L'，'_1KVtzT'？ –

是的，你是對的，它們是隨機生成的值。我現在糾正了我的代碼。謝謝 –

flipkart頁面通過ajax請求生成動態內容。這就是我無法得到正確的類選擇器的原因。現在，我按照以下答案的說明更改我的代碼：To retrieve data through ajax requests。對我來說，這是非常有幫助和簡單的，因爲我是新手，並且我不需要使用scrapy或casperjs。

來源

2016-11-11 12:37:58

使用xpath，你可以得到一個包含段落的特定類的div，該段落包含一個id，該段落包含值的評論。

這個選擇器是一個很好的開始，你可以從這裏構建任何選擇器來進行評論。

//div[.//p[contains(@id, 'review')]][@class='col']

來源

2016-11-10 13:21:02 lauda

我試過給xpath。但問題是flipkart現在生成動態內容，並且在抓取時，我沒有在他們的html頁面中使用正確的選擇器。所以，我使用他們頁面的Ajax請求來檢索數據。 –

如何從flipkart評論頁面獲取正確的選擇器進行網頁抓取？

回答

相關問題