我有10000個TEXTFILES具有這種結構流每秒巨大的數據用java
x y
------------------ text file structure
2 1
3 2
3 3
. .
. .
. .
如我在Java發送每秒10000個數據(一個第二信息是文件的線)?我想模仿10000 gps的
感謝您的幫助。
我有10000個TEXTFILES具有這種結構流每秒巨大的數據用java
x y
------------------ text file structure
2 1
3 2
3 3
. .
. .
. .
如我在Java發送每秒10000個數據(一個第二信息是文件的線)?我想模仿10000 gps的
感謝您的幫助。
看來,每秒鐘一次你想從10,000個不同的文件中讀取一行。
您將遇到的一個問題是,某些操作系統不允許一次打開10,000個文件,重複打開和關閉文件效率非常低。
解決此問題的一個方法是合併文件或增加允許的最大文件。
由於您正在模擬GPS,您需要以與他們相同的方式進行通信。例如如果使用JSon和rabbitmq,請使用這些。但是,如果他們不使用這些,你會使這種模擬變得不現實。
從打開的文件中讀取每秒10,000行應該不成問題。
這些文件是否有實際的時間戳,例如以毫秒或微秒爲單位,因此您可以按事件發生時排列事件?
是的,文件有第二次第三列,然後有效的方式是合併文件,然後,訂購事件,非常感謝! –
如果您每秒更新一次,那麼最好使用更準確的時間戳,因爲您不知道訂單差異來源向您提供了他們的數據。 –
你想如何發送這些數據?作爲文件?作爲一個web服務調用?通過網絡端口? – Freiheit
每個文件讀取一行併發送每秒的行信息,也許json編碼...通過使用rabbitmq的網絡端口是一種可能的解決方案 –
文件是否必須實時讀取或可以預處理? – Freiheit