有沒有一種簡單快捷的方式來生成JavaScript？

當我嘗試抓取應用商店時，我的問題就開始了，我們可以說google play。每個應用程序都有很多評論，我想抓取他們快。但是google中的註釋部分是由java腳本生成的。這裏是一個鏈接例如：https://play.google.com/store/apps/details?id=com.gameloft.android.ANMP.GloftAMHM在該鏈接中，您可以看到爲了生成更多評論，您需要多次單擊按鈕。（在5-6點擊aprox之後）頁面通過執行javascript生成更多評論。有沒有一種簡單快捷的方式來生成JavaScript？

起初，我使用網絡驅動程序（firefox）解決了這個問題，並模擬真人點擊按鈕，並生成評論，他一直按住，直到生成所有評論。

問題是：1，需要太多時間。 2，有時在點擊和JS代之後，Web瀏覽器無法響應。

我需要的是一種以更好，更快的方式爲每個應用程序生成所有註釋的方法。也許是某種技術，或者其他任何可以改善我的解決方案的東西，

我正在使用我在scrapy中創建的蜘蛛。

所有形式的幫助將非常感激

2015-05-04 Eran

一個它們所產生/顯示附加註釋的原因正是他們不希望有人來抓取他們......另一種是初始頁面沒有加載他們（更快），只有當有人開始閱讀評論，以顯示更多..

除非他們提供了一個API，你可以一次拉所有的評論，我沒有看到另一個快速拉他們的方式，除了模擬點擊和滾動...（緩慢的做法）

2015-05-04 13:38:34 Ron

您是否尊重robots.txt？爲什麼或者爲什麼不？

2015-05-04 14:02:36 bwarren2

如果您引用了play.google.com/robots.txt - > Disallow：/ apps，只需輕鬆在應用程序中測試此功能即可。我現在嘗試開發這個功能，不管robots.txt是什麼（所以現在，我沒有解決這個問題）。 – Eran

回答