2017-10-12 178 views
0

我對Javascript編程還很陌生,並且正在使用CasperJS構建的網頁抓取腳本。CasperJS:運行腳本的多個實例?

問題是,它相當慢,但它的工作原理。我試圖想出一種方法來創建一個覆蓋腳本/程序來啓動我創建的這個腳本,但我不確定這是否是最好的方式。我已經嘗試了GNU並行命令,但我更喜歡使用JS,PHP或Python,因爲我更熟悉這些語言。

我也知道,CasperJS實例將共享cookie和本地存儲,但這不是我的使用案例的問題。 如果有人對這種架構和框架有更多的經驗可以幫助我,我會很感激。

謝謝!

+0

定義「慢」。你能描述你認爲你遇到的瓶頸嗎?你可以使用['xargs'並行運行一堆實例](https://stackoverflow.com/questions/28357997/running-programs-in-parallel-using-xargs)? – tadman

+0

您是否花了一個小時瀏覽GNU Parallel的教程? gnu.org/software/parallel/parallel_tutorial.html –

+0

@tadman我引用的緩慢與我正在抓取的網站有關。要做所有我需要的動作,大約需要3分鐘。考慮到我需要在重新啓動之前運行其中的60個,你可以看到爲什麼我想要同時運行作業:) –

回答