spark：subtractByKey問題（pyspark）

Question

我有一些與subtractByKey有關的問題。

我有2個文件： 第一個是這樣的：（客戶端ID +客戶端郵件）

client_id emails 

4A85FD8E-197D-2AE3-B939-A527AFF16A04 imperdiet.non.vestibulum@mon***tur.com 
D48D530C-CF68-DAF1-18F0-E0A0A03F3E06 rutrum.urna@estm***ncus.net:facilisis@i****m.ca 
40815230-25DC-9EA0-01D1-2706B4B56958 iaculis.nec.eleifend@gr****nc.net 
... 

，而第二個：（僅郵件）

pharetra@P****s.com 
ut.aliquam@o****m.org 
erat@a****e.edu 
.... 

一些第一個文件中的行可以具有2（或更多）這種格式的郵件：

mail:mail 

我做了什麼：

*test1=sc.textFile("file1") 
*test2=sc.textFile("file2") 
*test3=test1.subtractByKey(test2) 

，其結果是...：

[(u'A', u'B'), (u'A', u'D'), (u'A', u'1'), (u'A', u'D'), (u'A', u'D'), (u'A', u'B'), (u'A', u'F'), (u'A', u'E'), (u'A', u'9'), (u'A', u'5'), (u'A', u'9'), (u'A', u'6'), (u'c', u'l'), (u'E', u'8'), (u'E', u'4'), (u'E', u'6'), (u'E', u'6'), (u'E', u'7'), (u'E', u'5'), (u'E', u'5'), (u'E', u'5'), (u'E', u'2'), (u'E', u'8'), (u'C', u'2'), (u'C', u'5'), (u'C', u'6'), (u'C', u'C'), (u'C', u'E'), (u'C', u'3'), (u'C', u'F'), (u'C', u'4'), (u'C', u'B'), (u'C', u'F'), (u'C', u'F'), (u'C', u'8'), (u'C', u'0'), (u'1', u'D'), (u'1', u'2'), (u'1', u'3'), (u'1', u'8'), (u'1', u'0'), (u'1', u'F'), ... ] 

我想刪除的客戶誰在第二個文件有他們的郵件的第一個文件，但它不起作用。

Answer 1

注：我不是很熟悉pyspark但火花API應該是 相同。

首先，您應電子郵件爲重點

rdd1=sc.textFile("file1").map(lambda line: (line.split(" ")[0], line.split(" ")[1]))

這會給你的

[(4A85FD8E-197D-2AE3-B939-A527AFF16A04,imperdiet.non.vestibulum@mon***tur.com)] 

然後RDD因爲可能會有多郵件，你應該做一個flatMapValues()

rdd2 = rdd1.flatMapValues(lambda email: email.split(":"))

這會給你一雙RDD，每一個只包含一個電子郵件

現在你可以切換

rdd3=rdd2.map(lambda kv: (kv[1], kv[0])) 

現在你會得到一個RDD鍵和值，使用用戶的電子郵件作爲主要的和UUID作爲一個值，如

[(imperdiet.non.vestibulum@mon***tur.com, 4A85FD8E-197D-2AE3-B939-A527AFF16A04)] 

現在你應該找哪家UUID的電子郵件中包含文件2，要做到這一點，你應該加載第二個文件作爲RDD ：

secondRdd = sc.textFile("file2").map(lambda line: (line, 1)) 

並做一個join並調整連接結果rdd。

rdd4 = rdd3.join(secondRdd).map(lambda kv: (kv[1][0], kv[0])) 

如果一切是正確的，現在你應該得到一個RDD是作爲(UUID, email)的格式，它代表所有其電子郵件出現在file2用戶，

那麼你可以做一個subtractByKey()與rdd1是我們最初得到。