oozie

0熱度

1回答

我想從oozie啓動一個豬工作，它失敗。 Oozie的堆棧跟蹤：了java.lang.RuntimeException：拋出java.lang.ClassNotFoundException：類org.apache.oozie.action.hadoop.PigMain不org.apache.hadoop.conf.Configuration.getClass發現（Configuration.j

0熱度

1回答

爲什麼Oozie在運行MapReduce作業時分配更多內存？

我使用oozie運行MapReduce作業。從工作流程來說，我只是調用MapReduce驅動程序類而不是其他任何東西。但是對於這個oozie工作流需要大量的內存。它需要至少2GB容器大小來調用驅動程序類。下面是workflow.xml <?xml version="1.0" encoding="utf-8"?> <workflow-app xmlns="uri:oozie:workflow:0.

3熱度

1回答

作業，應用程序，任務，任務嘗試登錄Hadoop，Oozie之間的區別

我正在運行一個Oozie作業，有多個操作，還有一部分我無法使其工作。在排除故障的過程中，我被大量的日誌所淹沒。在YARN UI（yarn-site.xml中的yarn.resourcemanager.webapp.address，通常位於端口8088上）中，有application_<app_id>日誌。在作業歷史記錄服務器（yarn.log.server.url in yarn-site.

0熱度

1回答

色調：Oozie的參數

我想通過2個參數在Oozie的我Hiveql腳本，我的腳本： ALTER TABLE default.otarie_appsession ADD IF NOT EXISTS PARTITION (insert_date=${dt},hr=${hr}); 我Oozie的工作流程：當我發送作業它要求參數值，所以我把：這是錯誤： 2016-02-05 18:41:55,460 WARN or

1熱度

2回答

在Oozie中優化多個Hive QL

我對配置單元不夠熟悉，所以在這裏。我們正在使用Oozie來鏈接一堆配置單元。我的任務是優化已在我們的生產環境中運行的應用程序。業務合作伙伴不希望花費比1.5小時更長的時間。我注意到的第一件事情之一就是在這一個工作流程中大約有90個oozie動作。我們還與其他應用程序共享紗線隊列。其中一半是hive2操作，每個Hive QL操作只能執行一個HQL語句。 HiveQL操作之間有時會出現延遲，因爲Ooz

-1熱度

1回答

Oozie的豬行動空空錯誤

我試圖做的非常基本的工作流程Oozie的我提示以下錯誤：wheni發出命令.. [email protected]:~/surender$ oozie job -oozie http://localhost:11000/oozie /home/user/surender/oozie_demo/job.properties -run 錯誤： Error: E0501 : E0501: Coul

0熱度

3回答

hadoop作業輸出文件

我目前有一個hadoop oozie作業正在運行。輸出文件是自動生成的。預期的輸出文件數量僅爲1;但是，有兩個名爲part-r-00000和part-r-00001的輸出文件。有時，第一個（part-r-00000）有數據，第二個（part-r-00001）沒有。有時候，第二個有，而第一個沒有。誰能告訴我爲什麼？另外，如何將輸出文件設置爲part-r-00000？

0熱度

1回答

Oozie的狀態檢查拋出java.lang.NullPointerException

我是新來了Oozie，試圖CDH4.1.1寫Oozie的工作流程。於是我開始了Oozie的服務，然後我用這個命令檢查狀態： sudo service oozie status 我得到的消息： running 然後我嘗試這個命令檢查狀態： oozie admin --oozie http://localhost:11000/oozie status 我得到了下面的例外： java.lang.Null

0熱度

1回答

嘗試安裝Cloudera Manager時出現錯誤的Oozie依賴關係5

我試圖在我的Hadoop集羣（Ubuntu 14.04），following these steps上安裝最新版本的Cloudera管理器。我將Ubuntu Trusty Cloudera Manager列表文件移動到了/etc/apt/sources.list.d/目錄，並沒有意識到其他人已經將Ubuntu Precise列表也移到了那裏。我通過儘可能多的安裝儘可能的跑了，我現在越來越有Oozi

2熱度

2回答

針對構建基於hadoop的數據管道的調度工具的建議

在Apache Oozie，Spotify/Luigi和airbnb/airflow之間，他們每個人有什麼優點和缺點？我過去曾經使用oozie和airflow來構建使用PIG和Hive的數據攝入管道。目前，我正在構建一個查看日誌並提取有用事件並將其置於紅移的管道。我發現氣流更容易使用/測試/設置。它有一個更酷的用戶界面，並允許用戶從用戶界面本身執行操作，這與Oozie不同。歡迎任何有關Luig