2
如何創建將處理avro
和parquet
之間的轉換的Scalding
Source
。將parquet-avro支持添加到燙印
溶液應:
1. Read from parquet format and convert to avro memory representation
2. Write avro objects into a parquet file
注:我注意到層疊有利用節儉和實木複合地板的模塊。我覺得這將是一個開始尋找的好地方。我還開了google-groups/scalding-dev
這正是我一直在尋找。投影功能是我尋找實木複合地板的原因。我將使用帶有這些源代碼的Typed API來創建一個漂亮的應用程序。非常感謝! – beefyhalo 2014-09-15 13:57:09
我們一直在努力爲Predicates添加支持。我會盡快分享這些代碼。但它使用鑲木地板1.6.0rc2 - 不是一個發佈版本的鑲木地板 – Oleksii 2014-09-15 14:34:02
這將是絕對精彩:) – beefyhalo 2014-09-16 03:37:48