hadoop-plugins

-3熱度

1回答

在探索各種工具（如Nifi，Gobblin等）時，我觀察到Databricks現在正在推廣使用Spark進行數據攝入/登錄。我們對紗線行走的火花[階]基於應用程序。到目前爲止，我們正在研究hadoop和spark集羣，我們首先手動將所需的數據文件放在HDFS中，然後再運行我們的spark工作。現在，當我們正計劃使可供我們期待從巨大的任何數據源[FTP，SFTP，任何關係和NoSQL數據庫]任何

0熱度

1回答

Hadoop安裝問題

使用ubuntu在oracle虛擬機上安裝hadoop後，一切正常。但是當我在瀏覽器上運行localhost：50070時，我得到的是namenode健康狀態，但在右下角沒有Legacy UI選項，通過它我可以瀏覽文件系統。任何想法爲什麼？

0熱度

1回答

使用PHP連接到hiveserver2

我需要在我的PHP應用程序中使用Hadoop中的數據創建報告。我在本地機器上安裝了hiveserver2。我嘗試使用以下示例從我的PHP代碼中找到連接到hiveserver2的方法。 https://github.com/QwertyManiac/hive-hs2-php-thrift https://github.com/dryangkun/php-hiveserver2 但任何人都沒有爲我工作

0熱度

1回答

我需要一個工具來分析日誌Hadoop

我有來自Hadoop的日誌文件我想分析這些大文件生成報告，所以我正在尋找一個方便的工具來分析這些文件。請介紹分析這些文件的工具。

0熱度

1回答

Oozie的協調輸入事件不起作用

我有三個協調員A，B和C B和C的協調取決於A的輸出也就是說，如果A的輸出就緒，協調員B和C將運行。所以，我使用輸入事件來控制這種依賴關係。協調員B和C的結構看起來像 <coordinator-app name="B" frequency="1440" start=${start} end=${end} timezone="UTC" xmlns="uri:oozie:coordinator:0

0熱度

1回答

從eclipse運行scala應用程序作業時，無法在HDP2.4.0.0-169沙盒上的配置單元上編寫

我正面臨一個使用HDP2.4.0.0-169沙盒的奇怪問題。我有HDP與主機名 - sandbox.hortonworks.com和IP 192.168.159.129，我有所有默認的hadoop和其他服務和運行。我寫了一個Spark代碼，用於在配置單元中創建一個表並讀取HDP上存在的任何現有的配置單元表。我還有一個編寫數據/將數據插入新創建的配置單元表的代碼。只要我使用run作爲Scala

0熱度

3回答

使用Spark Job將文件/數據從共享/ NFS安裝位置放入HDFS時會產生間歇性問題

我有一個使用Yarn作爲羣集管理器[在三節點hadoop羣集上運行]的三節點Spark羣集。考慮一下，我的Hadoop集羣有三個節點[Master，Slave1和Slave2] Resourcemanager在Slave1上的Master和NodaManager上運行& Slave2。 Spark Cluster也存在於三個節點上。在主節點上，我創建了一個文件夾/ data/nfsshare，

0熱度

2回答

在Apache Drill上製作存儲插件到HDFS

我正在嘗試爲Hadoop（hdfs）和Apache Drill製作存儲插件。其實我很困惑，我不知道要爲hdfs：//連接設置端口以及設置位置。這是我的插件： { "type": "file", "enabled": true, "connection": "hdfs://localhost:54310", "workspaces": { "root": { "locatio

0熱度

1回答

DatasetNotFoundException - salesforce2hadoop

我正在使用salesforce2hadoop庫將數據從salesforce導出到hadoop。我正在使用下面的命令。 sudo java -jar salesforce2hadoop-assembly-1.0.jar init -u myUsername -p myPassword -b /home/nfsuser/imports/salesforce -w /home/sanjay/Deskt

0熱度

1回答

錯誤：Hadoop namenode格式：找不到文件或目錄？

我正在嘗試在centos 7中安裝Hadoop 2.6。我已經完成了bashrc和xml文件中的所有更改。但是，無論何時我試圖運行命令「Hdfs namenode format」，它都會給出下面的錯誤。我已經設置了java路徑和所有其他變量。請幫助我。我附上錯誤的屏幕截圖