我上的IoT分析解決方案,其消耗在天青的IoT集線器燒製阿夫羅格式的消息和動態工作輸出路徑(希望)使用流分析存儲在數據湖和Blob存儲消息。一個關鍵的要求是,Avro容器必須與存儲到物聯網中心時的存儲完全一樣,爲下游用戶帶來好處。流分析:基於消息有效載荷
我在流分析中遇到了限制,對單個文件創建進行精細控制。在設置新的輸出流路徑時,我只能在路徑前綴中提供日期/時間和日期,導致每個小時都有一個文件,而不是每個收到的消息都有一個文件。客戶需要爲每個設備分別設置blob容器,併爲每個事件分別設置blob。同樣,Data Lake要求至少規定了一個由設備描述的理智的命名約定,併爲每個攝入的事件提供單獨的文件。
有沒有人成功配置流分析每次它會彈出一個消息斷輸入的時候創建一個新的文件?這是一個嚴格的產品限制嗎?
謝謝亞歷山大,這實際上是我們最終的結果。我們已經在使用路由來打破基於類型屬性的首要類別的消息,但這對於數百萬個目標來說會有點過分。客戶願意屈服於最初的攝入,所以我們直接進入存儲,然後利用ADF。 –