Sqoop HDFS到Couchbase：json文件格式

Question

我想導出數據格式HDFS到Couchbase，並且我的文件格式有問題。

我的配置：

• Couchbase服務器2.0
• 堆棧的hadoop cdh4.1.2
• sqoop 1.4.2（與hadoop2.0.0編譯）
• couchbase/hadoop的連接器（編譯hadoop2。 0.0）

當我運行導出命令，我可以很容易地導出這種格式的文件：

id,"value" 

或

id,42 

或

id,{"key":"value"} 

但是，當我想申請一個JSON對象這是行不通的！

id,{"key1":"value1,"key2":"value2"} 

內容在由couchbase第一個逗號和diplay用base64截斷，因爲現在的內容是不正確的JSON ...

所以，我的問題是，該文件必須如何格式化是存儲爲json文檔？

我們只能導出一個鍵/值文件嗎？

我要出口JSON文件形成像cbdocloader從本地文件系統的文件做HDFS ...

Answer 1

恐怕這個預期的行爲，因爲Sqoop是解析輸入文件爲CSV與逗號作爲分隔符。你可能需要調整你的文件格式來轉義分隔符或包含整個JSON字符串。我會推薦閱讀Sqoop在用戶指南[1]中處理轉義分隔符和封裝字符串的方式。

鏈接：

http://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html#id387098

Answer 2

我認爲最好的方法是將文件轉換爲製表符分隔的，如果你還在這方面的工作。如果您查看Sqoop文檔（http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_large_objects），則有一個選項 - 字段終止 - 可讓您指定Sqoop將字段分割爲哪些字符。

如果您通過了--fields-terminated-by'\ t'和製表符分隔的文件，它會在您的JSON中留下逗號。

Answer 3

@mpiffaretti你能發佈你的sqoop導出命令嗎？我認爲每個JSON對象都應該有自己的鍵值。 key1 {"dataOne":"ValueOne"} key2 {"dataTwo":"ValueTwo"} http://ajanacs.weebly.com/blog 在你的情況改變datea像下面可以幫你解決這個問題。

id,{"key":"value"} 
id2,{"key2":"value2"} 

讓我知道，如果你有進一步的問題。 [json] [sqoopexport] [couchbase]