2017-07-27 22 views
1

如何將文本文件加載到Apache Kudu表中?將文本文件加載到Apache Kudu表中?

源文件是否需要先在HDFS空間中?

如果不共享相同的HDFS空間,其他的Hadoop生態系統的程序(即/蜂巢,黑斑羚),是有阿帕奇捻等價的:

hdfs dfs -put /path/to/file 

之前,我嘗試加載該文件?

回答

1

該文件不需要在HDFS中,它可以從邊緣節點/本地機器獲取。Kudu類似於Hbase。它是一個實時存儲,支持鍵索引記錄查找和變異,但不能直接在HDFS中存儲文本文件。對於Kudu來存儲文本文件的內容,它需要被解析和標記。爲此,需要與Nifi(或Apache Gobblin)一起執行Spark執行/ java api來執行處理然後將其存儲在Kudu表中。

或者

你可以用黑斑羚它集成讓您使用因帕拉使用黑斑羚的SQL語法插入,查詢,更新和刪除捻片數據,以替代使用捻API構建一個自定義的庫杜application.Below的步驟是:

  1. 導入在HDFS文件
  2. 創建外部黑斑羚表。
  3. 然後在表格中插入數據。
  4. 使用關鍵字stored as KUDUAs Select 創建kudu表,將內容從impala複製到kudu。

在這個環節,你可以參考更多的信息 - https://kudu.apache.org/docs/quickstart.html

+0

感謝您的鏈接到的文檔 - 我測試了這一點,但考慮到一切我讀過,我認爲它應該工作! – boethius

相關問題