如何連接Azure機器學習和Spark Streaming或Apache Storm

Question

是否有可能從Spark Streaming或Apache Storm中流入Azure機器學習？在讀者選項有從蜂巢數據庫中讀取數據

但如何才達到從Spark或暴風數據的實時流的輸入，例如實時欺詐檢測

Answer 1

要做到實時欺詐檢測，您通常會在Azure ML上創建一個模型，然後將該模型發佈到oWeb服務，然後在您的Spark或Storm系統上，您將按順序調用該Web服務（例如，在商業網站上例如），那麼你會得到一個immedia te回答關於您在Web服務呼叫中發送的實際參數。

Answer 2

我明白用Open Source Storm或Spark做這件事的願望。

但是我也想提供100％的Azure解決方案，因爲我個人認爲它是一種很好的方式，可以快速完成流數據的許多「簡單」工作。

首先，我們有服務總線，它可以包含事件中心。事件中心是一個管理良好的隊列，可以將數據事件傳輸到雲中。該隊列有一個暫停和倒帶功能，因此如果您需要修改您的用戶，可以保證不會丟失數據。您還可以將隊列的內存設置爲7天（這樣做的成本稍高一點，然後說只存儲數據24小時）。

一旦數據位於Event Hub中，就可以使用Azure Stream Analytics代替Storm或Spark來彈出隊列中的數據。流分析使用SQL來查詢隊列。一個附加輸入和輸出數據源。輸入可以是事件中心，Blob或甚至參考數據集。輸出可以包含另一個Event Hub，azure blob，azure表，SQL數據庫，甚至PowerBI中的實時可視化。流分析，有一個縮放單位稱爲「流單​​位」，其中每個單位等於1 MB/s的帶寬進行處理。您只需支付您處理的數據，因此，如果您的數據流比較完整，則不需要付費，這與在雲中使用Storm或Spark不同。流分析甚至可以處理具有完全不同格式的消息，但我建議至少有一個字段具有用於消息類型的ID。存儲你的數據流進入一滴我基本流分析查詢可能是這樣的

Select * from EventHub into Blob

在流分析，我們可以換一個藍色的機器學習Web服務的功能。這使您可以調用AML並實時爲您分流數據。流分析能夠巧妙地創建AML調用的微博，這意味着它可以在單個AML調用中獲得多達200個決策。只要確保您已經擴展了AML Web服務以跟上流。

我希望這被看作是對問題願望的真正回答，但在披露時，我確實爲微軟在這些產品上工作，但希望能讓這些信息更豐富，然後再推銷。