將hadoop羣集連接到多個Google項目中的多個Google Cloud Storage backets

Question

將Hadoop羣集同時連接到多個Google Cloud項目是可能的嗎？

如本線程Migrating 50TB data from local Hadoop cluster to Google Cloud Storage中所述，我可以通過Google雲端存儲連接器輕鬆地在單個Google項目中使用任何Google存儲桶。但是我找不到任何文檔或示例說明如何從單個地圖縮減作業連接到兩個或更多Google Cloud Project。你有什麼建議/竅門嗎？

非常感謝。

Answer 1

事實上，可以一次將羣集連接到來自多個不同項目的存儲桶。最終，如果您使用using a service-account keyfile的說明，則GCS請求將代表該服務帳戶執行，該服務帳戶可以像其他任何用戶一樣或多或少受到處理。您可以使用cloud.google.com/console的permissions部分添加服務帳戶電子郵件your-service-account-email@developer.gserviceaccount.com到擁有您要處理的存儲桶的所有不同雲項目，並簡單地添加該電子郵件地址，或者您可以將其設置爲GCS-level access像任何其他用戶一樣添加該服務帳戶。