kite-sdk

0熱度

1回答

我在NiFi中建立了一個管道，在那裏我得到JSON記錄，然後用它向API發出請求。我得到的迴應將包含數字和文本數據。然後我必須將這些數據寫入Hive。我使用InferAvroSchema來推斷模式。某些數字值是有符號值，如-2.46,-0.1雖然推斷該類型，但處理器將它們視爲string而不是double或float或decimal類型。我知道我們可以在處理器中對我們的AVRO架構進行硬編碼，但

1熱度

1回答

文件在Spark作業中保持.avro.tmp狀態？

我有一個Spark作業，它從HDFS讀取數百萬條記錄，處理它們，並以AVRO格式回寫到HDFS。觀察到許多文件（寫入）保持在.avro.tmp狀態。我使用Kite SDK以AVRO格式寫入數據。環境是CDH 5.5。難道是因爲星火工作，只要它與閱讀記錄，並將其發送給執行者完成終止（這實際上不寫？）如果是這樣的話，我該如何確保作業直到所有.tmp轉換成.avro纔會終止？還有什麼可能的原因？

0熱度

1回答

水槽-風箏morphline：com.fasterxml.jackson.core.JsonParseException：意外結束輸入：對於OBJECT

預期接近標記當在水槽工作（1.6 & 1.7）我遇到下面的錯誤 2016-12-02 00:57:11,634 (pool-3-thread-1) [WARN - org.apache.flume.serialization.LineDeserializer.readLine(LineDeserializer.java:143)] Line length exceeds max (2048), t