hive-serde

0熱度

1回答

鍵值對組合。我們試圖將ID作爲列名和VALUE分解爲每列的相應數據。 `<CT> <items> <item> <field> <id>Column1</id> <value>25672</value> </field> <field> <id>Column2</id> <value>FGE</value> </field> <field> <id>Column3</id> <value>Fl

0熱度

1回答

如何查詢結構陣列配置單元（get_json_object）或JSON SERDE

我想要查詢存儲在我的HDFS下面的JSON示例文件 { "tag1": "1.0", "tag2": "blah", "tag3": "blahblah", "tag4": { "tag4_1": [{ "tag4_1_1": [{ "tag4_1_1_1": { "Addr": {

6熱度

2回答

JSON4S型暗示不起作用

以下測試片段 implicit val formats = DefaultFormats + FullTypeHints(Contacts.classList) val serialized = Serialization.write(List(Mail(field = "[email protected]", note = "Random note."))) println(seriali

0熱度

1回答

java.lang.ClassCastException：org.apache.hadoop.hive.ql.io.orc.OrcStruct不能轉換爲org.apache.hadoop.io.Text。 json serde錯誤

我是新手，在配置單元上使用json數據。我正在開發一個獲取json數據並將其存儲到配置單元表的Spark應用程序。我有這樣一個JSON：，看起來像這樣展開時：我能夠讀取JSON成數據幀，並將其保存在HDFS的位置。但讓數據讀取是非常困難的。我在網上例如搜索後，我試着這樣做：使用STRUCT所有JSON字段，然後訪問使用column.element的元素。例如： web_app_secur

0熱度

1回答

HIVE XML SerDe：失敗，出現異常java.io.IOException：java.lang.NullPointerException

我使用XML SerDe從XML文件創建一個帶有HIVE（Hive 2.1.1-mapr-1703）的外部表。該文件是來自W3C聯盟的XML example。這是我的代碼來創建表： add jar /mapr/localpath/hivexmlserde-1.0.5.3.jar; USE my_db; CREATE EXTERNAL TABLE frank_books ( category

0熱度

1回答

蜂房XML-SERDE - 鍵/值對 - 地圖

<Search> <Country>USA</Country> <Region>West</Region> <Address> <Home> <Item> <id>Number</id> <value>135</value> </Item> <Item> <id>Street</id>

0熱度

1回答

防止在使用Hive正則表達式時插入NULL Serde

RegexSerDe使用正則表達式（正則表達式）來反序列化數據。它不支持數據序列化。它可以使用正則表達式反序列化數據，並將組提取爲列。在反序列化階段，如果一行與正則表達式不匹配，那麼該行中的所有列都將爲NULL。如果一行與正則表達式匹配，但組的數量少於預期值，則缺少的組將爲NULL。如果一行與正則表達式匹配但具有多於預期的組，則會忽略其他組。如何防止在行中存在不匹配並引發異常時插入NULL？

0熱度

1回答

以ORC格式創建表時出現Hive錯誤

在ORC格式中以蜂巢形式創建表時出現錯誤。以下是創建表腳本。 CREATE TABLE tgt_ebr_agreements_item_notes STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcO

1熱度

1回答

XML架構到Hive架構

我想將xml文件加載到配置單元表中。我正在使用xml serde here。我能夠加載簡單的平面XML文件。但是當xml中有嵌套元素時，我使用配置單元複雜數據類型來存儲它們（例如，array<struct>）。以下是我正在嘗試加載的示例xml。我的目標是將所有元素，屬性和內容加載到配置單元表中。，我試圖讓 <description action="up"> <name action="a

0熱度

1回答

具有不同data_types

我有使用JSON數據的文件，其採取以下形式的JSON數組創建配置單元表「街」：「AA」，「城市」：「BBB」 } { 「街」：「CCC」，「城市」：「DDD」，「國家」：「EEE」 } ] } 上面的Json是一個有效的Json。我想使用JsonSerde在上面的表單的數據之上創建一個配置單元表。