hadoop2

-3熱度

1回答

在探索各種工具（如Nifi，Gobblin等）時，我觀察到Databricks現在正在推廣使用Spark進行數據攝入/登錄。我們對紗線行走的火花[階]基於應用程序。到目前爲止，我們正在研究hadoop和spark集羣，我們首先手動將所需的數據文件放在HDFS中，然後再運行我們的spark工作。現在，當我們正計劃使可供我們期待從巨大的任何數據源[FTP，SFTP，任何關係和NoSQL數據庫]任何

1熱度

1回答

使用水槽攔截器逐行過濾文件

我正在嘗試配置從.csv或.xl3讀取的水槽代理。文件示例： ClientA ClientB Start-time End-time Duration Status 35862515 36958452 16/01/2017 16/01/2017 10 good 32456988 22583694 16/01/2017 16/01/2017 05 good 35968478 36985

0熱度

1回答

來自namenode的Hadoop資源管理器ip地址

您好我正在嘗試使用http://hadoop-namenode-address:50070/jmx找出hadoop管理的羣集信息。我設法在集羣中數據節點的名單，但無法獲得有關二次名稱節點，ResourceManager中並且節點管理器的IP地址信息有沒有辦法從NameNode會找到它使用rest api。

0熱度

1回答

Spooldir源碼停止處理

我有一個遠程服務器生成文件。服務器將文件每15分鐘推送到hadoop羣集。這些文件存儲在一個特定的目錄中。我們使用flume從本地目錄讀取文件並將它們發送到HDFS。但是，SpoolDir適合處理數據。問題是當文件被寫入目錄時flume關閉處理。我不知道如何使flume spooldir wait完成寫入文件，然後處理它。或者如何使用腳本外殼或處理器在完全寫入之前阻止讀取文件。有人可以幫助

0熱度

1回答

YARN閾值錯誤

我正在使用新的HDP2.6。和Ambari。在這我已經安裝了紗，MapReduce的，Spark2，Hadoop和等我試圖用--master紗進入火花外殼，但我經常收到這類錯誤： $bin/spark-shell --master yarn --deploy-mode client Warning: Ignoring non-spark config property: spark-exe

0熱度

1回答

錯誤，同時啓動start-all.sh（HADOOP）

下面是錯誤消息我在使用start-all.sh啓動Hadoop守護進程越來越感到：attached screenshot STARTUP_MSG: build = https://git-wip-us.apache.org/repos/asf/hadoop.git -r 91f2b7a13d1e97be65db92ddabc627cc29ac0009; compiled by 'jdu' on 2

2熱度

1回答

HIve2與TEZ給執行錯誤

我使用Hive2與TEZ。當我運行查詢它給出瞭如下圖所示執行錯誤。 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask ERROR [432a4475-d246-4596-ad4c-54de6fea86c8 main] exec.Task: Failed to execut

1熱度

2回答

Apache Spark：從本地加載文件而不是HDFS並加載本地文件給IllegalArguementException

我是Apache Spark的新手，試圖從本地文件系統加載文件。我正在關注Hadoop-定義指南。這裏有一個我已經設置環境變量： export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_91.jdk/Contents/Home export HADOOP_HOME=/Users/bng/Documents/hadoop-2.6.4

0熱度

1回答

導致測試用例失敗的CustomWritable對象

我將Normal IntWritable更改爲適當的CustomerWritable類，因爲那時我的測試用例失敗。我在這裏做錯了什麼？ /* this is my customWritable */ package hadoop.mapreduce; import java.io.DataInput; import java.io.DataOutput;

0熱度

1回答

hadoop-daemon.sh start namenode命令不起作用

我在我的Ubuntu 16.10中安裝了hadoop 2.7.3。我想創建一個多節點集羣，並且完成了所有步驟，直到格式化namenode，但「hadoop-daemon.sh start namenode命令不起作用。當我輸入此命令時，它顯示」hadoop-daemon.sh：command not found。