2012-06-20 116 views
-6

我有10000個TEXTFILES具有這種結構流每秒巨大的數據用java

x   y 
------------------ text file structure 

2   1 
3   2 
3   3 
.   . 
.   . 
.   . 

如我在Java發送每秒10000個數據(一個第二信息是文件的線)?我想模仿10000 gps的

感謝您的幫助。

+0

你想如何發送這些數據?作爲文件?作爲一個web服務調用?通過網絡端口? – Freiheit

+0

每個文件讀取一行併發送每秒的行信息,也許json編碼...通過使用rabbitmq的網絡端口是一種可能的解決方案 –

+0

文件是否必須實時讀取或可以預處理? – Freiheit

回答

1

看來,每秒鐘一次你想從10,000個不同的文件中讀取一行。

您將遇到的一個問題是,某些操作系統不允許一次打開10,000個文件,重複打開和關閉文件效率非常低。

解決此問題的一個方法是合併文件或增加允許的最大文件。

由於您正在模擬GPS,您需要以與他們相同的方式進行通信。例如如果使用JSon和rabbitmq,請使用這些。但是,如果他們不使用這些,你會使這種模擬變得不現實。

從打開的文件中讀取每秒10,000行應該不成問題。

這些文件是否有實際的時間戳,例如以毫秒或微秒爲單位,因此您可以按事件發生時排列事件?

+0

是的,文件有第二次第三列,然後有效的方式是合併文件,然後,訂購事件,非常感謝! –

+0

如果您每秒更新一次,那麼最好使用更準確的時間戳,因爲您不知道訂單差異來源向您提供了他們的數據。 –