如何處理pyspark數據幀列

Question

我有一個沒有任何標籤/標題的大於4k列的pyspark df。根據列值，我需要對每列應用特定的操作。

我使用熊貓做了同樣的事情，但我不想使用熊貓，並希望將明智的列轉換直接應用於火花數據幀。 任何想法，我如何應用列智慧轉換，如果df有> 4k列沒有任何label.also我不想在特定的df列索引上應用轉換。

Answer 1

根據Spark文檔，數據框包含 - 不像您所說的 - 標題，非常像數據庫表。

在任何情況下，一個簡單的for循環應該做的伎倆：

for column in spark_dataframe.columns: 
    (do whatever you want to do with your columns)