不能設置起始偏移量火花eventhubs

Question

我們使用結構星火與包火花eventhubs一起流讀取來自Azure的IoTHub消息。在某些結果中，Spark檢查點不能按我們的要求工作。因此，我們希望能夠手動設置起始偏移量。

我們的計劃是手動分配的偏移量在IoThub參數映射，方法是設置：

• 「eventhubs.filter.offset」 - > { 「partitionKey1」： 「偏移1」，...}或
• 「eventhubs.startingOffsets」 - > {「partitionKey1」：「偏移1」，...}

兩個版本都沒有工作，這意味着星火總是開始從獲得的最早的一條短信閱讀IoTHub。

此外，我們不確定上述語法是否正常，因爲沒有關於此的文檔。

我們使用星火2.1和火花eventhubs包從Maven的：

「com.microsoft.azure」 ％ 「火花流-eventhubs_2.11」 ％ 「2.1.1」

Answer 1

我最近幾周前繼承了這個庫。在當前版本（2.1.5）中，不支持每個分區配置，並且缺少大量文檔。

下一個版本將支持每個分區配置的起始偏移（或排隊時間）和最大速率。還會有更多的改進。此外，有關配置庫並將其用於結構化流，Spark Streaming和Spark Core的新文檔將發佈。我將很快在GitHub上發佈詳細的路線圖。

對不起，並感謝一堆爲你感興趣。我試圖鞭打圖書館，所以如果你有更多的反饋/問題，我很樂意在這裏或在GitHub上聊天！