2015-08-20 105 views
9

這被標記爲偏題但留在堆棧溢出,以防其他人有這個相同的問題。你能刮一個Angular JS網站嗎

這可能超出了範圍,但我很想知道你是否可以刮一個Angular JS網站?

如果有人能指點我一些好的資源嗎?我做了一些R & D,但找不到任何有用的資源,除了Phantom JS

+1

我不確定你是否想出了一個解決方案來做到這一點,但最簡單的答案是使用'phantomjs'這是一個無頭瀏覽器,讓你用css選擇器編寫腳本並獲取數據,並用它做任何你想做的事情。 http://phantomjs.org讓我知道你是否需要進一步的幫助。 P.S我不確定這是如何投票脫離主題。 –

回答

3

對這個問題最簡單的答案是肯定的,這是可能的,但不使用傳統的機器人,只看他們原始的文本內容進入HTTP響應體,並不真正解釋運行JavaScript的典型瀏覽器會看到什麼。谷歌做它(截至5月2014年): http://googlewebmastercentral.blogspot.com/2014/05/understanding-web-pages-better.html

如果您有解析JavaScript和允許正常的HTTP XHR請求走出去,獲取填充一個SPA的實際數據的機器人,你可以刮的角部位。

+1

也有用的信息:http://thiagomarzagao.com/2013/11/17/webscraping-with-selenium-part-5/ – wesww