Sqoop - 是否可以在HDFS中導入平面文件

我知道可以通過sqoop將RDBM的數據導入HDFS，但我想知道是否可以導入平面文件。Sqoop - 是否可以在HDFS中導入平面文件

例如，是否可以從遠程Linux文件系統導入文件？

感謝您的幫助。

2014-04-28 shanks_roux

您是否考慮使用Flume？ http://flume.apache.org/ – Sudarshan

@sudarshan是的，但我真的很想知道Sqoop是否可行 –

爲了將平面文件放在HDFS中，不需要Sqoop，我也沒有看到爲此使用Sqoop的任何理由。試試下面的命令。 Here是相同的文檔。

hadoop fs -put <src-linux-file-system> <target-hdfs-file-system>

來源

2014-04-28 10:42:21

謝謝。但我想知道Sqoop的答案，例如一個遠程平面文件的例子 –

讓我們知道您爲什麼要使用Sqoop而不是大象:)然後其他人可以幫助您。 –

我只是學習所有的可能性。在我的項目中，我們將使用sqoop將RDBM的數據導入hdfs。我們認爲使用sqoop從遠程資源導入平面文件會更容易。如果不可能的話，我們當然會研究其他的可能性。 –

答案是否定的導入使用sqoop純文本文件，使用水槽導入

來源

2015-04-30 21:51:47

Sqoop不能用來導入任何文件類型到Hadoop的。根據您對Hadoop（批量，近實時，實時）數據攝取的及時性的要求，您可以選擇fs -put（適用於宏觀批次），flume或kafka（適用於更頻繁的更新，實時用例）。對於實時攝取，您可能需要先考慮內存，然後再考慮永久性存儲。在這種情況下，您可能需要使用一些工具，如風暴或火花流。

來源

2017-07-02 11:08:17 Glenn

Sqoop - 是否可以在HDFS中導入平面文件

回答

相關問題