如何提及flink的readFile方法中的FileInputFormat？

Question

我正在使用flink從定期追加數據的文件中連續讀取數據。我試圖在flink中使用readFile方法。但與如何在此方法的參數中提及FileInputFormat混淆。我的文件格式是json。任何人都可以幫助我嗎？。謝謝

Answer 1

Flink的InputFormat不適合從同時寫入的文件讀取。

鑑於此要求，我假設您正在尋找一種將文件作爲流使用並使用Flink的DataStream API進行處理的方式。在這種情況下，您需要實現一個跟蹤文件大小和進度的SourceFunction，並不斷讀取文件。

但是，我不會推薦這種設計。我寧願定期啓動一個新文件，並將其移至一個專用文件夾中，待其完成並下一個文件啓動後使用。