我可以直接從本地服務器（文件或dbs ..）自定義源＆匯到數據流嗎？

Question

我想使自定義源&直接從本地服務器（文件或dbs）接收數據流。所以我想知道這是否可能。

如果可能的話，我應該小心做什麼？僅供參考，我從來沒有使自定義源&下沉。 但是我使用過一次GCS，數據流。

Answer 1

Dataflow的custom IO framework可以從任意源讀取並寫入任意接收器。您當然可以將連接器寫入各種類型的文件和數據庫。

但是，在遠程服務上執行管道時，如雲中的Google Cloud Dataflow，取決於多種因素，它可能無法訪問本地計算機上運行的服務。而且，這樣的本地服務可能無法很好地擴展以獲得高性能的數據處理管道。

因此，將數據移動到基於雲的服務（如Google Cloud Storage或Google BigQuery）可能會更好。