Q

如何在GCP數據流中確定持久磁盤使用情況？

2017-07-13 34 views 1 likes

1

在定價部分，Google表示每個工作人員有一個默認PD數量（取決於批量與流媒體）。鑑於我擁有的工作人員數量（與默認的PD使用情況相比），我正在運行一項工作，並且持久磁盤使用量遠高於應有的數量。這在多個不同的工作中是一致的。什麼導致了PD使用的增加？作爲參考，流媒體工作者的默認值爲480 GB，但我收取5888 GB的費用。如何在GCP數據流中確定持久磁盤使用情況？

2017-07-13 Andrew

+0

你的工作ID是什麼？ – jkff

+0

@jkff 2017-07-12_13_02_25-18120989511327716317。我對此感到困惑的部分是「當前PD」 - 與定價頁面所說的PD應該適用於四名流式工作人員相比。 – Andrew

A

回答

2

這是一個啓用了自動縮放功能的流式管道。

根據https://cloud.google.com/dataflow/service/dataflow-service-desc#autoscaling：

流的管道的部署與永久磁盤的固定池，在數量上等於--maxNumWorkers

根據https://cloud.google.com/dataflow/service/dataflow-service-desc#persistent-disk-resources：

的默認大小每個持久磁盤在批處理模式下爲250 GB，在流模式下爲400 GB。

因此，「當前PD」的預期值應該是（您的值爲maxNumWorkers）* 400GB，而不是4 * 400GB。

2017-07-13 21:59:15 jkff

+0

嗨@jkff這是一個相當大的讓步，是否有一些技術原因，爲什麼磁盤不能與工作人員一起上下放大或者只是需要空間？ –

+0

我們正在努力改進流媒體運行程序，以「無服務器」方式推動它，與https://cloud.google.com/blog/big-data/2017/07/life-of-a-cloud-基於數據流服務的洗牌（用於批量管道），這將解決這個限制。 – jkff

相關問題