webhdfs

1熱度

2回答

我們需要在HDFS文件夾之間的HDFS位置建立filecopy。我們目前已經在shell腳本循環中使用了curl命令，如下所示。 /usr/bin/curl -v --negotiate -u : -X PUT "<hnode>:<port>/webhdfs/v1/busy/rg/stg/"$1"/"$table"/"$table"_"$3".dsv?op=RENAME&destination=/

0熱度

1回答

上傳本地文件與Java API遠程HDFS而是連接到localhost

我有一個非常簡單的上傳方法來上傳文件到一個節點hdp2.5集羣： Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("webhdfs://hdsfhost:50070", conf); fs.copyFromLocalFile(false, true, new Path(localF

1熱度

2回答

什麼是我webHDFS在Azure HDInsight網址？

新來這裏Azure上。我剛剛在一個普通的存儲帳戶上完成了一個新的HDInsight實例，並創建了一個新的存儲實例。我想知道我的webHDFS網址是/我在哪裏可以找回它以及我如何訪問它。我不使用Azure的數據存儲湖。（幾乎每一個環節，我發現蔚藍相關導致了一些數據湖鏈接）我HDFS-site.xml中： <property> <name>dfs.webhdfs.enabled</na

1熱度

1回答

在HDFS中查找文件的行數以與QC文件中的計數進行比較

我有一個數據文件和在HDFS中加載的qc文件，我想比較QC文件中存在的計數和數據文件行數。爲此，我編寫了一個shell腳本，用於提取QC文件的計數部分，併爲數據文件執行wc -l。對於QA文件： qccount=$(webhdfs -cat hdfs://${CLUSTER_NAME}$hdfs_src_path/$directory/$qc_file_name | cut -d "|" -f2

3熱度

1回答

docker kerberos webhdfs AuthenticationException：未授權

我有一個春天的應用程序。其中一種方法使用webhdfs從hdfs中讀取文件。當我在想法中測試它時，它會起作用。但是，在我構建項目並在本地或在連接到hdfs的服務器上的虛擬機上部署Docker鏡像之後，我可以看到。 AuthenticationException: Unauthorized 在我的本地機器，我必須用 kinit 爲autentification regulary初始化令牌。如

1熱度

1回答

webhdfs創建文件例外

我使用在CentOS 7 的Hadoop 2.7.1如果我想使用Hadoop集羣webhdfs 我應該配置該屬性 <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> 但還有什麼？我的名字節點的IP是192.168.4.128當我使用Firefox在Windows 8和

1熱度

2回答

是否webhdfs支持高可用性使用Hadoop 2.7.1上的centos 7</p> <p>當高可用性附帶Hadoop集羣</p> <p>和活性名稱節點發生故障時的故障轉移發生

IAM，它成爲由站但webhdfs不支持高可用性？是不是應該是什麼替代發送獲取和放置請求給其他的活動名稱節點主節點故障節點

1熱度

1回答

HttpFs在高可用性和名稱服務

好處我使用的Apache集羣Hadoop的2.7.1，它由三個節點 nn1 master name node nn2 (second name node) dn1 (data node) 我們知道，如果我們在這個集羣中配置高可用性我們將主要有兩個節點，一個是活動的，另一種是待機，如果我們配置羣集由名稱服務叫過以下情形將確定的情況是： 1 NN1是積極和NN2由所以站，如果我們想獲得

1熱度

2回答

Hadoop：兩個datanodes但用戶界面顯示一個，Spark：兩個工作人員用戶界面顯示一個

我在許多網站上看到了很多關於SO和Quora的答案。當他們爲從IP地址配置防火牆時，一些問題得到了解決，有些人說這是一個UI故障。我很困惑。我有兩個datanode：一個是純數據節點，另一個是Namenode + datanode。問題是當我做<master-ip>:50075它只顯示一個datanode（也有namenode的機器）。但我的hdfs dfsadmin -report顯示我有兩個

0熱度

1回答

什麼是Hadoop的webhdfs和天青之差webhdfs

Hadoop的webhdfs：https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/WebHDFS.html Azure的webhdfs：https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview