streamsets

1熱度

1回答

我在streamsets中構建了一個管道，以從我的sql中讀取數據並更改數據捕獲。當我開始執行管道時，出現以下錯誤。流水線狀態：START_ERROR：java.lang.NoClassDefFoundError：組織/阿帕奇/卡夫卡/普通/ KafkaException

0熱度

2回答

我只有我的mapr-db json表中的行鍵

我不知道它是否是mapr-db json的常見問題。我使用一個Streamsets目的地，這是一個Mapr-DB json表來推送包含10列的記錄。我確定第一列成爲行鍵。當我去 mapr dbshell find /tmp/my_table 我只看到JSON行密鑰而不是其他列 {"_id":"mykey1"} {"_id":"mykey2"} {"_id":"mykey3"} {"_

0熱度

1回答

Streamsets階段的記錄數

我使用Streamsets從Oracle向ElasticSearch提取記錄。我想在maprDB目標中註冊我在oracle查詢中處理每個步驟的記錄數。我怎樣才能在特定的流式設置階段獲得記錄的數量？

1熱度

1回答

是否可以通過StreamSets Data Collector（SDC）創建Kafka主題？

我正在使用StreamSets Data Collector（SDC）Web工具創建一個管道，通過卡夫卡生產者將數據從本地系統傳輸到卡夫卡。但是，我必須先手動創建我想要存儲數據的主題。是否有可能通過StreamSets創建主題？

0熱度

1回答

NiFi或Streamsets從HBase讀取，加入平面文件中的內容並寫入Hive

試圖找出是否可以通過apache NiFi或Streamsets實現連接。所以我可以定期從HBase中讀取數據，並與其他表格一起寫入Hive表格。或者是否有任何其他工作流管理器工具支持此操作？

1熱度

1回答

StreamSets升級和LDAP認證

使用Cloudera Manager（5.8.2）將StreamSets從2.1.0.2升級到2.4.0.0。我無法登錄到StreamSets - 我得到「登錄失敗」。新版本似乎使用不同的LDAP查找方法。我的日誌前更新看起來如下： 10年3月15日：42：07.799 AM信息com.streamsets.datacollector.http.LdapLoginModule 搜索與過濾器的用戶

1熱度

1回答

我可以使用任何API在StreamSet中映射表列嗎？

我需要在Stream Set管道中映射10000個列表並需要從（csv）文件向其發送數據。因此，通過提及列名稱來映射流集應用程序中的每個列對於10000列來說是非常大的任務。所以任何人都可以回答什麼是實現它的任何其他簡單方法？或者我可以通過使用其REST API來實現它嗎？在此先感謝。

1熱度

2回答

如何使用StreamSets解析日誌文件的多行記錄？

我使用StreamSets解析一個日誌文件，即通過StreamSets線解析線和我的日誌記錄是多條線路，像這樣 00:01:03.930 [WebContainer : 41] Outbound message: 00:01:03.930 [WebContainer : 41] Values to hide NewPassword -- mask -- .+ 我想正則表達式和神交模式，但新生

1熱度

1回答

StreamSets來自MySQL的預覽數據錯誤

我曾試圖使用StreamSets查詢MySQL數據庫並將數據發佈到Elasticsearch（localhost）。我在我的Mac上下載了StreamSets的tarball，並將其解壓縮到我的主目錄中。在我第一次嘗試時運行StreamSets dc，然後我按照這裏的說明添加了jdbc驅動程序，然後在這裏指示配置我的StreamSets作業。但是，我得到一個錯誤： JDBC_00 - Canno

1熱度

1回答

流集中的jdbc生產者的問題

我正在嘗試使用Streamsets pipeline將數據從本地目錄遷移到mysql數據庫。雖然預覽數據在控制檯上，但未寫入到mysql db。顯示沒有錯誤但仍然數據的管道未寫入db.如果有人在Streamsets上工作，請幫我解決這個問題？