如何捕獲Apache flume正在傳輸的數據的元數據信息

我試圖捕獲Apache Flume元數據信息，但是我沒有看到它的日誌信息。如何捕獲Apache flume正在傳輸的數據的元數據信息

如果需要進行任何預配置以捕獲Flume元數據信息，請讓我知道。

在此先感謝。

2013-04-25 user2285498

元數據是什麼意思？你需要捕獲哪些信息？ – Dmitry 2013-04-25 19:14:00

感謝您的迴應：我的意思是，如果Apache flume將文件或日誌從源文件傳輸到目標文件，是否有可能捕獲其傳輸文件和數據量正在傳輸的位置，flume存儲所有這些信息的位置。如果我對元數據的理解錯誤，請讓我知道。提前致謝：） – user2285498 2013-04-26 06:56:41

Flume組件在標準Flume日誌（/ var/log/flume-ng）中記錄了一些這樣的元信息。

例如，HDFS sink記錄時被卷的文件的路徑：

19 апр 2013 13:00:07,063 INFO [hdfs-hdfs_sink-roll-timer-0] (org.apache.flume.sink.hdfs.BucketWriter.renameBucket:379) - Renaming hdfs://localhost/path/to/data/2013/04/19/12/data.1366358400751.tmp to hdfs://localhost/path/to/data/2013/04/19/12/data.1366358400751

Avro source日誌的每個接收的事件批次：

19 апр 2013 13:00:07,175 DEBUG [New I/O server worker #1-31] (org.apache.flume.source.AvroSource.appendBatch:222) - Avro source avro_source: Received avro event batch of 100 events.

此外，還有在水槽監控功能，其允許向外部系統（如Ganglia）報告一些指標，如處理過的消息的總數，通道大小等。看看http://flume.apache.org/FlumeUserGuide.html#monitoring。

來源

2013-05-07 12:22:56 Dmitry

如何捕獲Apache flume正在傳輸的數據的元數據信息

回答

相關問題