如何抓取它使關於jQuery的網站時，我使用節點

Question

我應該爬https://motul.lubricantadvisor.com/Default.aspx?data=1&lang=ENG&lang=eng

，但我該怎麼辦抓取這個網站。我認爲它使用jQuery。有人說你應該使用ajax。但是我將通過mongodb包含數據庫，所以我將使用node.js，我該怎麼做？

Answer 1

代替使用的NodeJS（設計用於其它目的），使用PhantomJS，它是專爲網頁的測試/刮削設計的。由於它使用JavaScript，所以應該很容易爲你學習。

另一種方法（如果你想使用節點）是找出這個網頁如何與底層後端進行通信，並使用庫（如node-XMLHttpRequest）直接連接到後端。

還有一種選擇是直接使用artoo.js從網頁上抓取數據，它直接注入到渲染的網頁中，並允許您使用jQuery選擇器來抓取網頁。

倫理注意：然而，正如所有的拼搶，請小心，只刮您擁有明確權限的網站。不僅可以你可以竊取他們的數據，你可能會浪費他們的帶寬（因此他們的錢），所以請使用任何類型的抓取工具的時候要體貼。