2015-02-11 68 views
0

我通過azure文檔閱讀並發現,隊列的郵件大小限制爲64 Kb,服務總線爲256 KB。我們正在嘗試開發一種應用程序,它將從某些設備讀取傳感器數據,調用REST服務並將其上傳到雲。這些數據將存儲在隊列中,然後轉儲到雲數據庫。Azure郵件大小限制和物聯網

有可能收集的傳感器數據超過256 KB ......在這種情況下,推薦的方法是什麼......我們是否需要在REST服務中拆分數據 ,然後將大量數據在隊列中或有任何幫助表示讚賞

+0

你可以把數據Blob存儲總是其大小是否超過:

有使用HBase的與便宜的Blob存儲作爲墊層和Azure的機器學習作爲我的分析解決方案的一部分攝入的實例256KB。 – 2015-02-11 16:16:23

+0

我需要在將來對這些數據運行分析......您的意思是將它放在blob存儲中並在隊列中存儲引用,以便工作進程可以讀取它並將其保存到數據庫 – Sabarish 2015-02-11 19:06:25

+1

沒錯。您將數據存儲在blob存儲中,然後使用blob URL創建消息並將其存儲在隊列中。您的工作進程可以從隊列中獲取消息,獲取blob URL,讀取和處理數據。 – 2015-02-12 00:37:26

回答

2

你有幾個相互衝突的技術報告任何其他建議模式

。我將首先澄清一些。

  1. 服務總線/物聯網集線器不是發送呼叫。一個郵政呼叫將使用一個 寧靜的服務,它是單獨存在的。 IoT Hub使用從您抽象出的低延遲消息傳遞系統 。這些 旨在成爲大容量小型數據包,並適用於大多數物聯網 方案。

  2. 在其中一個消息是大於256 KB(這是一個物聯網的情況很有意思,我很想 明白爲什麼這些消息是如此之大)的情況下,您應上傳到 Blob存儲。您還可以發佈包

    • 如果您對您的設備訪問Blob存儲API的,你應該走這條路
    • 如果您沒有訪問到這一點,你應該張貼的大數據包發送到休息端點並且交叉你的手指使它或者將它切碎。

      1. 您可以在Blob存儲上運行發佈分析,我會建議使用wasb前綴,因爲這些容器符合Hadoop標準,您可以在這些存儲機制之上站立分析集羣。

您有一個隊列,我馬上就可以看到沒有真正的需要。

你應該看看的模式撬動:

  1. 流分析:https://azure.microsoft.com/en-us/services/stream-analytics/
  2. Azure的數據工廠:https://azure.microsoft.com/en-us/services/data-factory/

你典型的攝入將是:最多讓你的數據到儘可能輕鬆地將雲存儲到超便宜的存儲中,然後稍後使用羣集進行分析,您可以站起來並根據需求進行拆卸。這種便宜的存儲通常是一團糟,分析集羣通常是某種形式的Hadoop。使用數據工廠可以在您確定要使用特定組件的情況下管理數據。http://indiedevspot.com/2015/07/09/powering-azureml-with-hadoop-hbase/