據http://sqoop.apache.org/docs/1.4.0-incubating/SqoopUserGuide.html#id1764646我可以使用Sqoop將數據導入RCFile格式嗎?
可以導入兩種文件格式之一的數據:分隔文本或 SequenceFiles。
但是RCFile呢?
是否可以使用Sqoop將數據從Oracle DB導入到HDFS格式的RCFile中?
如果是,該怎麼辦?
據http://sqoop.apache.org/docs/1.4.0-incubating/SqoopUserGuide.html#id1764646我可以使用Sqoop將數據導入RCFile格式嗎?
可以導入兩種文件格式之一的數據:分隔文本或 SequenceFiles。
但是RCFile呢?
是否可以使用Sqoop將數據從Oracle DB導入到HDFS格式的RCFile中?
如果是,該怎麼辦?
Sqoop目前不支持RC文件。有一個jira SQOOP-640添加此功能。
Step 1: Create a ORC formatted table (base) in Hive.
CREATE TABLE IF NOT EXISTS tablename (hivecolumns) STORED AS RCFILE
Step 2 : Sqoop import to this RC table using HCatalog tool.
SQOOP IMPORT
--connect sourcedburl
--username XXXX
--password XXXX
--table source_table
--hcatalog-database hivedb
--hcatalog-table tablename
[HCatalog的表抽象呈現在Hadoop分佈式文件系統(HDFS)數據的關係視圖的用戶,並確保用戶不必擔心在何處或以何種格式的數據存儲 - RCFile格式,文本文件,SequenceFiles或ORC文件。]
很酷,謝謝澄清。 – Bohdan 2013-02-22 03:44:43