2015-12-25 87 views
0

我最初的RDD; Array [Array [String]],如下所示:如何從RDD(Array [String])創建RDD(子數組[String])?

a b h c ....... d e x q 
    d r d x ....... e q g m 
    f e u t ....... q t g y 
    a b h c ....... d e x q 
    d r d x ....... e q g m 
    f e u t ....... q t g y 
    .... 
    .... 

新的RDD; Array [Array [String]],其中包含:

u t ...... q t 
h c ...... d e 

有關如何使用它的任何想法?數組的大小很大,所以可能需要任何大小的子數組。 在此先感謝。

+0

如果你有函數'bigToSmallArray',那麼你只需要'rdd ofSmallArrays = rddOfBigArrays.map(bigToSmallArray)' – abalcerek

回答

1

它看起來像所有你需要在這裏僅僅是drop*

rdd.map(_.drop(2).dropRight(2)) 

如果你懷疑是它通常是有用的檢查Scala collections docs

+0

這適用於列。如果我想選擇行,例如行(2)到行(8),該怎麼辦? – user3180835

相關問題