hadoop2

0熱度

1回答

在Hadoop/Mapreduce作業的映射器類中無法連接到解壓縮openrdf（sesame）的SPARQLRepository

我確實使用Sesame（RDF4j）API編寫了一個Java應用程序來測試> 700個SPARQL端點的可用性，但它需要數小時才能完成，因此我試圖使用Hadoop/MapReduce框架分發此應用程序。現在的問題是，在映射程序類中，應該測試可用性的方法不起作用，我認爲無法連接到端點。下面的代碼我使用： public class DMap extends Mapper<LongWritable,

0熱度

1回答

在Yarn上運行Spark，如果我登錄應用程序，它調度哪個節點，nodemanager或worker？

Spark集羣和Hadoop是獨立的。 Nodemanager和工作節點不重疊。

0熱度

1回答

虛擬機上的Ambari部署問題

我正在努力在企業中設置生產Hadoop/Spark集羣，但我首先要做一些測試。只是爲了得到一些語義在那裏：生產OS：RHEL 7 CPU：8芯內存：64GB 節點數量：12 類型：虛擬機這些生產節點都是虛擬機和已經被賦予了1tb的數據空間，這是掛載在/ data /上。每個系統目錄也都有自己的文件系統，比如/ var /擁有自己的文件系統，/ usr /和/擁有自己的文件系統，並且在大小/空

1熱度

2回答

任何人都可以說沒有在jps中顯示hadoop惡魔的原因？

我使用的是hadoop 2.7.3版本，配置後namenode沒有在jps中顯示。任何人都可以說我給予有關文件的正確權限的原因是什麼。我刪除了/ tmp文件並重新創建了namenode，然後對其進行了重新格式化。在此先感謝。 22561 Jps 21633 DataNode 21975 ResourceManager 22093 NodeManager 21821 SecondaryNa

0熱度

1回答

蜂巢：在簡單的獲得ParseException的創建外部表查詢

我已經設置了蜂巢上的MAC。執行簡單的創建外部表格查詢。我得到以下堆棧跟蹤：在org.apache.hadoop.hive.ql.parse.HiveParser.columnNameTypeOrPKOrFK（HiveParser.java:33341） hive> CREATE EXTERNAL TABLE weatherext (wban INT, date STRING) >

0熱度

1回答

field_discarded_type_conversion_failed錯誤 - 豬

我正在使用CROSS操作符。我在hdfs中有兩個文件data1 & data2，如下所示。 data1- (1,2,3) (4,2,1) 數據2 (2,4) (8,9) (1,3) 現在我通過鍵入命令加載此文件到一個變量; A = LOAD 'data1' AS (a1:int,a2:int,a3:int); dump A; 傾倒它之後是顯示錯誤 FIELD_DISCARDED

0熱度

1回答

如何使用java執行現有的sqoop作業？

這裏我正在使用Java進行增量式導入。但我沒有得到如何使用已有的工作。我的意思是 sqoop job --create moviesJob1 -- import --connect jdbc:mysql://localhost/mydb --username root -P --table movies --m 1 --target-dir /movies --incremental appen

0熱度

1回答

Pyspark：遠程Hive倉庫位置

我需要從Pyspark讀取/寫入存儲在遠程Hive Server中的表格。我所知道的這個遠程Hive是在Docker下運行的。從Hadoop的色調，我發現了一個iris表兩個網址，我嘗試從選擇一些數據：我有一個表metastore網址： http://xxx.yyy.net:8888/metastore/table/mytest/iris 和表位置網址： hdfs://quickstart.

1熱度

1回答

Hadoop-Installation-Multinode

大家好，我正在嘗試安裝多節點hadoop安裝。一切工作正常，但我的yarnmanager沒有工作。當我看着爲紗節點管理器日誌文件，我得到了以下信息 "org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Initialized nodemanager for null: physical-memory=-1 virtual

1熱度

1回答

如何識別MapReduce程序中的輸入格式

我剛開始學習Hadoop，並且有各種格式的輸入類型。我有幾個程序要研究，我的主要問題是如何確定輸入格式是TextInputFormat還是KeyValueTextInputFormat或其他。你的幫助是非常讚賞