2014-09-12 66 views
2

如何創建將處理avroparquet之間的轉換的ScaldingSource將parquet-avro支持添加到燙印

溶液應:

1. Read from parquet format and convert to avro memory representation 
2. Write avro objects into a parquet file 

注:我注意到層疊有利用節儉和實木複合地板的模塊。我覺得這將是一個開始尋找的好地方。我還開了google-groups/scalding-dev

回答

4

線程嘗試我們的最新變化在這個叉 - https://github.com/epishkin/scalding/tree/parquet_avro/scalding-parquet

+0

這正是我一直在尋找。投影功能是我尋找實木複合地板的原因。我將使用帶有這些源代碼的Typed API來創建一個漂亮的應用程序。非常感謝! – beefyhalo 2014-09-15 13:57:09

+0

我們一直在努力爲Predicates添加支持。我會盡快分享這些代碼。但它使用鑲木地板1.6.0rc2 - 不是一個發佈版本的鑲木地板 – Oleksii 2014-09-15 14:34:02

+0

這將是絕對精彩:) – beefyhalo 2014-09-16 03:37:48