使用Google Cloud Dataflow SDK讀取流式數據

我正在研究IOT應用程序，我需要從PubSub主題讀取流式數據。我想使用Google Cloud Dataflow SDK讀取這些數據。我正在使用Java 1.8使用Google Cloud Dataflow SDK讀取流式數據

我正在使用Google雲端平臺的試用版。當我使用PubSubIO.Read方法讀取流式數據時，我在日誌文件中發現錯誤，說明我的項目沒有足夠的CPU配額來運行應用程序。

所以我想用Google Cloud Dataflow SDK讀取流媒體數據。

有人可以讓我知道我在哪裏可以找到使用Google Cloud Dataflow SDK讀取流數據的完整示例。

2016-12-23 jumping jack

PubsubIO.Read是正確的方法。請發佈您收到的錯誤，最好是您的工作ID。 – jkff

（bdaaec3d0f58e13）：工作流程失敗。原因：（50ffe37e5aed6b7）：項目xxxxxxxx沒有足夠的配額在區域us-central1中使用3個實例執行此工作流程。配額摘要（可用/必需）：80/3實例，8/12 CPU，2048/1260磁盤GB，1024/0 SSD磁盤GB，100/1實例組，50/1受管實例組，100/1實例模板， 23/3個使用中的IP地址。有關請求更多配額的信息，請參閱https://cloud.google.com/compute/docs/resource-quotas。 –

請從上面的日誌中找到錯誤消息。請讓我知道你的想法。 –

一些完整的例子是雲數據流文檔中可以找到，並從那裏的聯繫，在Github上，也下Complete Examples。

根據您的錯誤消息，確實沒有足夠的CPU配額運行默認的3x 4線程（n1-standard-4）工作人員。 CPU quota for Google Cloud trial是8個CPU。

您可以configure your job需要更少的CPU，例如，（例如--numWorkers=1）或不同機器類型（--workerMachineType=n1-standard-1）

來源

2016-12-23 05:14:57 jkff

使用Google Cloud Dataflow SDK讀取流式數據

回答

相關問題