在Pivotal Cloud Foundry上使用Spark Runner部署的Apache Beam

我有使用Spark Runtime引擎部署Apache Beam應用程序的需求。我的問題是如果我可以在Pivotal Cloud Foundry環境中部署Spark應用程序。如果可以，請提供示例。在Pivotal Cloud Foundry上使用Spark Runner部署的Apache Beam

感謝

2017-09-12 VIjay

是，Cloud Foundry上可以運行的Apache星火應用。 CF現在可以安裝持久卷，管理Spark集羣本身的容器網絡，併爲不同類型的計算節點提供隔離段（例如，識別具有高性能網絡的子集羣，可能更適合Spark應用程序和。通用應用程序）。

對於要提供給Spark或Spark輸出的數據，您仍然需要CF之外的後備存儲。這可能是HDFS，Cassandra，JDBC/SQL，NFS，HTTP/S3等。

Cloud Foundry是無狀態的，但它非常有能力運行像Spring Cloud Data Flow這樣的工作負載，以及Hbase，Hadoop，常規RDBMS，Kafka/Redis/RabbitMQ，FTP服務器，雲服務......無論您真正需要什麼。

這裏是鏈接，你可以參考它們。

2017-09-13 03:38:10

回答