Python Web刮 - 帶動態數據表

Question

我想從動態變化表中抓取數據。

第一次打開網站時表格爲空，但每1-2秒更新一次新值。

我試着用請求和lxml python包（Hitchiker's Guide to Python）來做這件事，但我只能得到空表。

然後我用Selenium做了它，但是它總是啓動一個新的瀏覽器（我需要每20-30秒才能得到一個值），這太慢了。

該表使用稱爲Lightstreamer的消息服務。

Answer 1

而不是每次啓動一個新的瀏覽器，爲什麼不使用類似於PhantomJS的東西。它可以加速Selenium的代碼。或者用Scrappy代替Selenium嘗試Splash。在一天結束的時候，很難在沒有看到你做過什麼或嘗試過的情況下爲你提供幫助。還有很多關於如何在本網站或谷歌上使用它們的指南。