Sparklyr - 如何更改實木複合地板數據類型

Question

閱讀實木複合地板文件時，是否有辦法更改列的數據類型？ 我正在使用Sparklyr的spark_read_parquet函數，但它沒有columns選項（來自spark_read_csv）來更改它。

在CSV文件，我會做這樣的事情：

data_tbl <- spark_read_csv(sc, "data", path, infer_schema = FALSE, columns = list_with_data_types) 

我怎麼可以做拼花文件類似的東西？

Answer 1

指定數據類型僅在讀取沒有內置元數據的變量類型的數據格式時纔有意義。 csv或fwf文件就是這種情況，至多在第一行中有變量名稱。因此這些文件的讀取功能具有該功能。

對於內置變量類型的數據格式（例如Parquet（或R中的.Rds和.Rds）），此類功能沒有意義。

這在這種情況下，你應該：

一）讀取文件的實木複合地板在Spark B）進行必要的數據轉換 三）轉換後的數據保存到一個文件鑲木地板，覆蓋以前的文件