2016-09-18 51 views
1

我想用Splash來渲染一個帶有JavaScript內容的網頁。我使用lxml來解析結果。 我需要展開隱藏的菜單。我發現了點擊元素的方法,但我不知道如何點擊xpath搜索中的每個結果。Python刮飛濺javascript點擊

在我的xpath過濾器下面。

// DIV [包含(@類,「clickable_area」)]

所以,我需要執行「查找所有」這個XPath表達式,併爲他們每個人的搜索,請點擊物件來顯示隱藏的信息。

如果有人能幫助我...

感謝

+0

請儘可能將URL提供給您正在抓取的實際目標頁面以及您當前的代碼(儘可能多)。 – alecxe

+0

在這個網站https://angel.co/markets例如,如何擴大所有市場(信息技術,消費者,企業......)。我需要找到他們每個人,然後點擊每個人來擴大市場。 – Matt

回答

-1

在這裏,我將解釋如何得到所有子菜單。

https://angel.co/new_tags/list_children?tag_id=data-tag_id 例如, https://angel.co/new_tags/list_children?tag_id=9217 它將返回「所有市場」的所有子菜單

然後您可以收集所有「data-tag_id」並逐一傳遞給URL。

如果沒有data-tag_id,那麼它將返回錯誤。

+0

感謝您的解決方案,但我最感興趣的是「通用解決方案」,可以通過xpath模式執行多重搜索,並對每個結果執行操作。但是對於這個網站,您的解決方案完美無缺。 – Matt