sparkr

1熱度

1回答

POSIXct類型在Apache Spark 2.1.0上使用SparkR dapply降級

我有一個SparkR（Apache Spark 2.1.0）應用函數的問題。當通過SparkDataFrame應用任何函數時，POSIXct類型的時間戳會降爲整數，因爲POSIXct從Epoch開始保存爲整數毫秒。有什麼辦法可以防止這種簡化嗎？這裏是一個小例子：創建的R data.frame並加載在到火花： localDF <- data.frame(time=as.POSIXct(c("2

2熱度

1回答

是否可以在Sparklyr中將ORC文件讀取到Spark Data Frame？

我知道sparklyr有以下讀取文件的方法： spark_read_csv spark_read_parquet spark_read_json 什麼閱讀獸人文件？這個圖書館是否支持它？我知道我可以在SparkR或this solution中使用read.orc，但我想讓我的代碼保持閃耀。

0熱度

1回答

過濾和重新分配基於正則表達式中火花

我有一個名爲df火花DataFrame，如圖上面的圖片。有一列名爲region，目前只有價值NE。有一個名爲address的單獨列有許多地址。我想將region的觀察值更改爲VA，其中address以VA結尾。我怎樣才能做到這一點？ pyspark或sparkr命令都可以使用。

2熱度

3回答

sparkR：實例化'org.apache.spark.sql.hive.HiveSessionState'時出錯：

當我嘗試使用sparkR時，我正在努力解決這個問題。 sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory = "1g")) Error in handleErrors(returnStatus, conn) : java.lang.IllegalArgumentException: Err

2熱度

1回答

鑄造String當在SparkR

向timestamp我有在含有時間戳以下列方式一SparkDataFrame一個柱，用毫秒處理： Start_1 <chr> 2016/01/01 10:51:15.304 2016/01/01 10:51:15.352 我讓讀取文件，其產生字符數據時火花推斷模式類型。我知道它可以在沒有毫秒的情況下工作，產生正確的數據類型和列。不過，我也需要毫秒，因此希望將數據類

0熱度

1回答

SparkR。將UTC轉換爲所有觀測值的本地時間，多個時區

我是SparkR的新手，隨時瞭解情況以及版本2.2.0 - SNAPSHOT。我有一個帶有一列UTC時間戳的SparkDataFrame，一列時區。例如： mydates<- c("2012-12-22 14:23:05", "2015-01-19 16:37:42", "2017-03-02 08:22:55") mytimeZones<- c("America/Chicago", "Amer

0熱度

2回答

如何使用sparkr語言從wasb中讀取csv文件

我想使用sparkr language從存儲帳戶中的wasb中讀取csv文件。我使用jupyter筆記本實現它。如果有人可以幫助，我用例子。

0熱度

1回答

在SparkR中使用插入符號？

也許有點類似於this question，似乎SparkR數據框與插入程序包不兼容。當我嘗試訓練我的模型，我得到以下錯誤： Error in as.data.frame.default(data) : cannot coerce class "structure("SparkDataFrame", package = "SparkR")" to a data.frame 有沒有解決

0熱度

1回答

刪除通過sparkr

文件我想通過參考以下網站 https://github.com/apache/spark/blob/master/examples/src/main/r/ml/ml.R http://spark.apache.org/docs/latest/sparkr.html 該命令用於刪除使用SparkR爲此，我得到了「取消鏈接」命令，在wasb文件得到執行沒有拋出任何錯誤，但文件沒有被刪除。我檢查與權限也

4熱度

1回答

SparkR實例化'org.apache.spark.sql.hive.HiveSessionState'時發生錯誤

我從本教程https://www.linkedin.com/pulse/setting-up-sparkr-windows-machine-ramabhadran-kapistalam的Windows 8.1中安裝SparkR。我結束了它，所以我想它很好的實施。問題是，當我嘗試用一個簡單的數據幀運行一個例子： Error in handleErrors(returnStatus, conn)