如何使用BMC Control-M安排Hadoop作業？

Question

任何人都知道如何使用BMC Control-M軟件控制/安排Hadoop作業？它甚至有可能嗎？

我曾嘗試過Ooozie，並希望探索更多用於安排hadoop作業的選項。

請指教！

Answer 1

答案是肯定的。

這個答案會變得更好。

今天，您可以使用各種Hadoop組件提供的豐富的命令行界面。然後，您可以單獨運行這些CLI作爲命令，或將它們組合成直接嵌入到Control-M作業中的腳本或包裝在shell腳本中的腳本（Bash是一種流行的腳本），並使用Control-M進行調度。我提供了一個示例腳本來執行一些HDFS操作，然後運行MapReduce作業。

當我們發佈我們對Hadoop的集成支持時，好幾分鐘就會到來。那時（我假設你熟悉BMC Control-M），我們將提供類似於其他CM的圖形表單，用於定義各種工作類型（Pig，Hive，MapReduce都在考慮之中，但我不確定是什麼實際上會得到實施），對狀態監視的綜合支持，檢索作業輸出等。

我們已經聽到許多正在使用Control-M管理他們的Hadoop環境的客戶的消息。除了運行Hadoop作業的「機制」之外，您還可以獲得Control-M管理圖形流的能力，整合廣泛的平臺和應用程序，管理服務級別，預測，審計，報告，以及更多。

我很樂意與您進一步討論這個問題，尤其是因爲我們仍處於這項工作的早期階段，所以我們很樂意瞭解您在這方面的要求。請發送郵件至joe_goldberg@bmc.com給我，我很樂意設立電話會議或演示。

#!/bin/csh 
# 
cd /h/gron/java/hadoop/hadoop-1.0.3 
bin/hadoop dfs -rmr output_$UUID 'dfs[a-z.]+' 
bin/hadoop jar hadoop-examples-1.0.3.jar grep input output_$UUID 'dfs[a-z.]+'