如何使用Python從RDD獲取特定記錄

Question

我正在使用Python在RDD中工作。我想從這個RDD

(8, 23, 4.0) 
(50, 21, 3.0) 
(5, 48, 3.0) 
(5, 85, 3.0) 
(40, 17, 3.0) 
(3, 62, 3.0) 
(24, 92, 3.0) 
(48, 24, 3.0) 
(48, 73, 3.0) 
(34, 48, 3.0)  
(50, 14, 3.0) 
(1, 78, 3.0) 
(7, 8, 3.0) 
(10, 87, 3.0) 
(14, 82, 3.0) 

對於實例找到一個特定的記錄：我想找到第3個值時1st is 3和2nd is 62，所以它應該返回3.0。元組是(3,62,3.0)，從RDD頂部開始第6位

由於我是Spark和Python的初學者，我不知道使用了正確的術語。我沒有得到如何使用過濾器或地圖功能或使用哪一個。

Answer 1

我想找到3個值時，第一次是3和2的62

你給您的具體要求，而你似乎知道有關地圖和過濾功能，所以剩下的只是一個理解常規python元組解包和lambda函數。

reduced_rdd = rdd.filter(lambda x: x[0] == 3 and x[1] == 62)\ 
    .map(lambda x: x[2]) 

Answer 2

，其中第一個值是3和第二個62這將返回所有值：

records = [(8, 23, 4.0) 
(50, 21, 3.0) 
(5, 48, 3.0) 
(5, 85, 3.0) 
(40, 17, 3.0) 
(3, 62, 3.0) 
(24, 92, 3.0) 
(48, 24, 3.0) 
(48, 73, 3.0) 
(34, 48, 3.0)  
(50, 14, 3.0) 
(1, 78, 3.0) 
(7, 8, 3.0) 
(10, 87, 3.0) 
(14, 82, 3.0)] 

rdd = sc.parallelize(records) 
rdd.filter(lambda x: x[0] == 3 and x[1] == 63) 
rdd.map(lambda x: (x[2],)) 

在filter()你可以設置它記錄你想保持。 在map()中，您可以更改將包含的內容。