火花數據幀更新列，而其他科拉姆是像pyspark

Question

這造成我的示例數據幀：

df = sc.parallelize([('abc',),('def',)]).toDF() #(
df = df.selectExpr("_1 as one",) 
df = df.withColumn("two", lit('z')) 
df.show() 

看起來像這樣：

+---+---+ 
|one|two| 
+---+---+ 
|abc| z| 
|def| z| 
+---+---+ 

現在我想要做的是一系列SQL where like聲明其中列two被追加，無論它是否匹配

在「僞代碼」中，它看起來像這樣：

for letter in ['a','b','c','d']: 
    df = df['two'].where(col('one').like("%{}%".format(letter))) += letter 

最終導致DF看起來像這樣：

+---+----+ 
|one| two| 
+---+----+ 
|abc|zabc| 
|def| zd| 
+---+----+ 

Answer 1

如果您使用的字符串列表子集的字符串列，可以最好地利用broadcast變量。讓我們先從一個更現實的例子在您的字符串仍然包含空格：

df = sc.parallelize([('a b c',),('d e f',)]).toDF() 
df = df.selectExpr("_1 as one",) 
df = df.withColumn("two", lit('z')) 

然後我們創建的信件列表的broadcast變量，因此定義使用它們子集的字符串列表的udf;最後連接它們與另一列中的值，返回一個字符串：

letters = ['a','b','c','d'] 
letters_bd = sc.broadcast(letters) 

def subs(col1, col2): 

    l_subset = [x for x in col1 if x in letters_bd.value] 
    return col2 + ' ' + ' '.join(l_subset) 

subs_udf = udf(subs) 

要應用上面，我們進行子集需要的字符串轉換爲一個列表，所以我們使用功能split()，然後再申請我們udf：

from pyspark.sql.functions import col, split 

df.withColumn("three", split(col('one'), r'\W+')) \ 
    .withColumn("three", subs_udf("three", "two")) \ 
    .show() 
+-----+---+-------+ 
| one|two| three| 
+-----+---+-------+ 
|a b c| z|z a b c| 
|d e f| z| z d| 
+-----+---+-------+ 

或者不udf，使用regexp_replace和concat如果你的信可以舒適地融入regex表達。

from pyspark.sql.functions import regexp_replace, col, concat, lit 

df.withColumn("three", concat(col('two'), lit(' '), 
       regexp_replace(col('one'), '[^abcd]', ' ')))