2014-06-13 64 views
2

我正在通過Fi-Ware閱讀Bigdata installationg的教程。Fi-Ware Bigdata配置

https://github.com/telefonicaid/fiware-connectors/blob/develop/flume/README.md

我susccesfully完成步驟達「天鵝座的安裝和它的依賴」。我已經意識到有一個新的天鵝座版本(在教程中使用0.3而不是0.2.1)。我想知道是否需要完成與依賴安裝有關的另一個步驟。

我在教程中下段

OrionCKANSink依賴

這些都是你需要在APACHE_FLUME_HOME/plugins.d /天鵝/ libext安裝,如果你沒有在天鵝座包含它們的數據包包:

json-simple-1.1.jar 
OrionHDFSSink dependencies 

這些都是你需要在APACHE_FLUME_HOME/plugins.d /天鵝/ libext安裝,如果你沒有在天鵝座包包含它們的數據包:

hadoop-core-0.20.0.jar (or higher) 
hive-exec-0.12.0.jar 
hive-jdbc-0.12.0.jar 
hive-metastore-0.12.0.jar 
hive-service-0.12.0.jar 
hive-common-0.12.0.jar 
hive-shims-0.12.0.jar 

這些包不需要安裝,因爲它們已經包含在水槽包(它們已經上市只爲信息的目的):

httpclient-4.2.1.jar 
httpcore-4.2.2.jar 

另外,前面已經說了,要記得這一個覆蓋APACHE_FLUME_HOME/lib目錄/ libthrift-0.7.0.jar包:

libthrift-0.9.1.jar 

最後,如果你打算使用的OrionMySQLSink,包括APACHE_FLUME_HOME/plugins.d /天鵝最新的MySQL連接器/ libext:

mysql-connector-java-5.1.26-bin.jar 

是否有更簡單的方法來安裝和配置cygnus?這似乎很難用Bigdata和fi-ware一起使用。

謝謝

回答

0

首先,一些重要的話:

是說,安裝天鵝是很簡單的。基本上,您必須安裝Apache Flume,然後構建Cygnus jar,其中將包含Flume的其他類。

天鵝座0。1個建築是做簡單:因爲這種版本有針對MySQL也不蜂巢表自動創建不支持

$ cd /path/to/cygnus/folder 
$ /path/to/maven/bin/mvn package 
$ cp target/cygnus-0.1.jar /path/to/flume/lib 

沒有別的要求。

天鵝0.2天鵝0.2.1都需要一些第三方庫,但大部分都是pacakged與天鵝類本身使用此命令,如README文件:

$ cd /path/to/cygnus/folder 
$ /path/to/maven/bin/mvn clean compile assembly:single 
$ cp target/cygnus-0.2.x-jar-with-dependencies.jar /path/to/flume/plugins.d/cygnus/lib 

你所要做的唯一附加的事情就是升級水槽libthrift庫和MySQL的連接器/path/to/flume/plugins.d/cygnus/libext複製。在自述文件中找到的庫列表僅供文檔目的(如上所述)列出。

不管怎麼說,我們正在努力的RPM自動化上述步驟的產生。敬請期待!

+0

繼README文件,當我從克隆 https://github.com/telefonicaid/fiware-connectors.git 我得到天鵝-0.3-JAR-與-dependencies.jar 我在哪裏可以下載的0.2.x版? 反正我已經執行了所有步驟,並在運行最後一步,我得到一個Java錯誤與類 3)]錯誤在配置HTTPSource。異常如下。 java.lang.ClassNotFoundException:es.tid.fiware.fiwareconnectors.cygnus.handlers.OrionRestHandler es.tid.fiware.fiwareconnectors.cygnus.sinks.OrionHDFSSink,class:es.tid.fiware.fiwareconnectors.cygnus.sinks。 OrionHDFSSink提前 – EnriqueHZ

+0

由於爲了獲得特定版本,用'git的結帳發佈/ xyz'克隆步驟之後只是籤他們。當然,根據具體版本,請始終遵循自述文件。 – frb