從本地運行的Java應用程序獲取數據到谷歌雲應用程序並返回

Question

我想深入分佈式系統，雲計算，物聯網等世界，我要誠實，我想像的一切都比直觀它終於橫空出世了。 我有一個很小的測試架構，我想與Google雲和他們的服務建立，但我有點卡住，因爲我不能理解我的頭。

我基本上想做的事情（作爲第一步）是編寫一個簡單的java應用程序，它可以在我的電腦上本地運行。這個應用程序應該只是生成隨機數字，並將這些數字以某種方式發送到谷歌雲。在雲端，我想定義另一個Java應用程序，以某種方式操縱這些隨機數（實際上並不重要）。之後，輸出結果當然會回到我身上。而實際上，此刻，我甚至不關心如何。它可能會以某種方式回到我的本地應用程序（通過某種監聽程序，這可能嗎？）。但它也可以簡單地將結果存儲在谷歌雲端的某個地方？或者也許上傳到我的谷歌驅動器？

我想你已經注意到了 - 在某些地方 - 我甚至不知道我想要什麼，因爲我不確定什麼是可能的，什麼不可以。

您能否爲我提供一些幫助以獲得此設置？ 對我來說最重要的問題，現在是：

• 我需要使用發佈訂閱系統，在這裏我生成的數字發送 到，並且然後轉發給雲應用程序，該轉換我的 數據？
• 如何從本地應用程序獲取數據到雲服務？
• 我的數據轉換應用程序是否會在Google Dataflow上運行？
• 上面我寫了「作爲第一步」...因爲後來我還想將配置文件（例如json格式或xml）發送到雲，並且雲應用程序應該轉換這些配置文件。 ..如果我得到的 第一個場景運行我猜這個Woul也沒有問題 對不對？

這些只是我當前想到的幾個問題。我猜最重要的。

這將是一個很大的幫助。對不起，如果問題不是很確切，但我真的需要某種指向正確的方向。

預先感謝您！

Answer 1

我認爲這將是很好的對部分技術的讀了你在這裏提到：

• Google Cloud Pubsub：發佈/訂閱使您可以將消息發佈到主題，並在另一個地方使用它們（Google）雲。您可以在鏈接中看到發佈商和消費者的一些不同示例。就你而言，例如，你可以編寫一個Java應用程序，將隨機數寫入發佈/訂閱隊列，在那裏他們將坐7天后被另一個組件（例如Google Cloud Dataflow）使用。要開始開發，您可以找到SDK here（有一個Java SDK）。
• Google Cloud Dataflow是管理服務運行Apache Beam管道來處理您的數據的規模。您可以瞭解不同概念here並開始設計您的管道here。我建議首先看看一些例子，這將更容易掌握實際發生的事情。 Dataflow具有PubSub連接器，因此在您的應用程序中，您將能夠從之前創建的主題中讀取數據。在Dataflow中，您可以將所有隨機數乘以並將其寫入某個接收器（例如Google Cloud Storage，或者甚至是BigQuery或PubSub）。
• Google Cloud Storage：是一個雲存儲，您可以在其中放置文件，例如Dataflow管道的輸出。您可以使用雲控制檯UI手動下載文件，也可以使用其中一個SDKs以編程方式下載輸出。

希望這給你一個概述和一些指示開始。只要你準備好了，並且有一個更具體的用例，你可以開始看更多的組件。