如何從機器內部運行Google雲數據評估器上的配置單元？

Question

我剛剛創建了一個谷歌雲數據集羣。一些基本的東西是不是爲我工作：

1. 我試圖運行從主節點蜂巢控制檯，但它無法用root以外的任何用戶加載（它看起來像有一個鎖，控制檯只是卡住）。

2. 但即使是用root的時候，我看到一些奇怪的行爲：

   • 「節目表」;顯示一個名爲「輸入」的表
   • 查詢該表引發了一個例外情況，即該表未找到。

3. 不清楚哪個用戶通過web ui創建表。我創建了一個工作，執行它，但是沒有通過控制檯看到結果。

找不到任何好的文檔 - 有沒有人有這方面的想法？

Answer 1

由於默認的metastore配置，目前運行hive命令有點中斷。

我建議您使用beeline客戶端，它會與Dataproc Hive Jobs一樣與Hive Server 2進行通信。您可以通過在主服務器上運行beeline -u jdbc:hive2://localhost:10000來通過ssh使用它。

YARN應用程序由Hive Server 2作爲用戶「nobody」提交，您可以通過將-n標誌傳遞給直線來指定其他用戶，但它與默認權限無關。

Answer 2

此線程有點舊，但是當有人搜索Google Cloud Platform和Hive時，這個結果即將到來。所以我添加了一些可能有用的信息。

目前，爲了將作業提交給谷歌dataproc，我認爲 - 像所有其他產品 - 有3個選項：

1. 從UI

2. 從控制檯中使用命令行，如： gcloud dataproc jobs submit hive --cluster=CLUSTER (--execute=QUERY, -e QUERY | --file=FILE, -f FILE) [--async] [--bucket=BUCKET] [--continue-on-failure] [--jars=[JAR,…]] [--labels=[KEY=VALUE,…]] [--params=[PARAM=VALUE,…]] [--properties=[PROPERTY=VALUE,…]] [GLOBAL-FLAG …]

3. REST API調用，比如：https://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.jobs/submit

希望這對別人有用。