在Spark中設置數據

Question

我是新來的Spark和StackOverFlow社區的編程人員。嘗試在Cloudera QuickStart VM中使用Spark獲取數據的子集。在所附的快照，你會看到20條記錄使用代碼的輸出：

channel_views.take(20) 

這裏，channel_views是一個包含幾百個記錄的RDD。我試圖只包含那些包含單詞'XYZ'的特定記錄和相應的數值。我如何實現這一目標？

在此先感謝。

Answer 1

RDD.filter：

channel_views.filter(lambda x: "XYZ" == x[1]) # Exact matches 

或

channel_views.filter(lambda x: "XYZ" in x[1]) # XYZ in the value