2017-07-13 34 views
1

在定價部分,Google表示每個工作人員有一個默認PD數量(取決於批量與流媒體)。鑑於我擁有的工作人員數量(與默認的PD使用情況相比),我正在運行一項工作,並且持久磁盤使用量遠高於應有的數量。這在多個不同的工作中是一致的。什麼導致了PD使用的增加?作爲參考,流媒體工作者的默認值爲480 GB,但我收取5888 GB的費用。如何在GCP數據流中確定持久磁盤使用情況?

+0

你的工作ID是什麼? – jkff

+0

@jkff 2017-07-12_13_02_25-18120989511327716317。我對此感到困惑的部分是「當前PD」 - 與定價頁面所說的PD應該適用於四名流式工作人員相比。 – Andrew

回答

2

這是一個啓用了自動縮放功能的流式管道。

根據https://cloud.google.com/dataflow/service/dataflow-service-desc#autoscaling

流的管道的部署與永久磁盤的固定池,在數量上等於--maxNumWorkers

根據https://cloud.google.com/dataflow/service/dataflow-service-desc#persistent-disk-resources

的默認大小每個持久磁盤在批處理模式下爲250 GB,在流模式下爲400 GB。

因此,「當前PD」的預期值應該是(您的值爲maxNumWorkers)* 400GB,而不是4 * 400GB。

+0

嗨@jkff這是一個相當大的讓步,是否有一些技術原因,爲什麼磁盤不能與工作人員一起上下放大或者只是需要空間? –

+0

我們正在努力改進流媒體運行程序,以「無服務器」方式推動它,與https://cloud.google.com/blog/big-data/2017/07/life-of-a-cloud-基於數據流服務的洗牌(用於批量管道),這將解決這個限制。 – jkff

相關問題