4
我正在使用Scalding處理具有許多(> 22)字段的記錄。在這個過程結束時,我想寫出最後一個Pipe的字段名稱到一個文件中。我知道這是可能的,因爲Mapper和Reducer日誌顯示這些信息。我希望在工作中獲得這些信息,以此作爲窮人模式的基礎。如果這是不可能的,那麼是否有一種很好的方式來爲大型記錄使用類型安全的Pipes API(即,不訴諸任意嵌套的元組或案例類)?以編程方式確定燙傷/級聯管道的字段名稱
我正在使用Scalding處理具有許多(> 22)字段的記錄。在這個過程結束時,我想寫出最後一個Pipe的字段名稱到一個文件中。我知道這是可能的,因爲Mapper和Reducer日誌顯示這些信息。我希望在工作中獲得這些信息,以此作爲窮人模式的基礎。如果這是不可能的,那麼是否有一種很好的方式來爲大型記錄使用類型安全的Pipes API(即,不訴諸任意嵌套的元組或案例類)?以編程方式確定燙傷/級聯管道的字段名稱
.write(Tsv("filename.tsv), writeHeader=true)
通過使writeHeader = true
你告訴.write
功能,包括架構,以及。