is.na和分位數與sparklyr

我使用sparklyr它似乎運作良好。但是，我以前的一些代碼不會被執行。is.na和分位數與sparklyr

如果是使用

complete.cases

我得到

Error: org.apache.spark.sql.AnalysisException: undefined function COMPLETE.CASES

我得到了quantile功能相同的結果

再者就是似乎在星火dataframes的is.na，不計算相同辦法。所以，當我做

filter(!is.na(V1) & is.na(V2))

我得到一個空的數據幀，而不是將其返回是充滿V1和空在V2各個領域。

任何建議如何使用/修改這些功能sparklyr，或如何構建這些函數的包裝？

也許你想'過濾器（is.na（V1）is.na（V2）！）'？ '！'將優先於'＆'，因爲您擁有它，給出'V1'不丟失和'V2'丟失的行。 – Gregor

您可以使用na.omit爲：

sc <- spark_connect(master = "local") 
tbl_flights <- copy_to(sc, flights) 

tbl_flights %>% na.omit

2016-11-16 16:25:58

回答