sparkr

4熱度

2回答

我試圖讀取一個CSV文件到SparkR（運行Spark 2.0.0） - &試圖嘗試新添加的功能。在這裏使用RStudio。「閱讀」源文件時出現錯誤。我的代碼： Sys.setenv(SPARK_HOME = "C:/spark-2.0.0-bin-hadoop2.6") library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOM

0熱度

1回答

如何SparkR數據幀轉換爲RDD

我知道如何將文本文件轉換成RDD與SparkR： data <- textFile(sc, "data/tsv_wiki") 但我想知道如何類型數據幀的對象轉換中的R到RDD 。任何幫助，將不勝感激。

-1熱度

2回答

無法啓動sparkR

我已安裝Spark 2.0並嘗試sparkR命令。但命令會出現如下所示的錯誤消息。其他人都可以（spark-shell，pyspark ,,,）。請幫助... [錯誤消息] Dongkils-的MacBook：火花2.0.0彬hadoop2.7 dongkillee $ sparkR ENV：R：沒有這樣的文件或目錄

1熱度

3回答

來自Rstudio的SparkR - 在invokeJava（isStatic = TRUE，className，methodName，...）中給出錯誤：

我正在使用RStudio。創建會話後，如果我嘗試使用R數據創建數據框，它會給出錯誤。 Sys.setenv(SPARK_HOME = "E:/spark-2.0.0-bin-hadoop2.7/spark-2.0.0-bin-hadoop2.7") Sys.setenv(HADOOP_HOME = "E:/winutils") .libPaths(c(file.path(Sys.getenv

0熱度

3回答

R POSIXlt時間戳轉換不知道如何將'df1 $ timestamp'轉換爲類「POSIXlt」

你好我所面臨的問題，同時將時間戳轉換爲POSIXlt，稍後從此時間戳o需要提取年，月，日，小時，分，秒 2015-12-01 00:04:39 is my timestamp ，這裏是我的嘗試 getwd() rm(list=ls()) library(ggplot2) library(plyr) library(reshape) library(scales) library(g

0熱度

1回答

SparkR紋樣不起作用

我試圖在應用於火花數據框的函數中調用lapply。根據文檔，它可能是自Spark 2.0以來。 wrapper = function(df){ out = df out$len <- unlist(lapply(df$value, function(y) length(y))) return(out) } # dd is Spark Data Frame with

1熱度

2回答

簡單的SparkR紋樣示例不起作用

我想寫一個非常簡單的使用dapply來變換紋理的SparkR程序。但是，我有麻煩運行它： lines <- read.text("/path/to/file.txt") resultingSchema <- structType(structField("line", "string")) linesmapped <- dapply(lines, function(line) {

0熱度

2回答

如何在sparkr中使用像avg，max等統計函數

我正在使用SparkR。現在我遇到了使用統計函數（如avg，max等）的問題。首先，我讀像JSON文件： > a <- read.df(sqlContext, "/home/fengchen/mine/mydata/try.json", "json") 然後，在火花，而不是正常的數據幀ř一個數據幀。我正在嘗試https://spark.apache.org/docs/1.5.1/api/R/的

0熱度

1回答

SparkR從兩個集合

閱讀在Spark.mongo連接器火花蒙戈連接器有serveral的lenguages在蒙戈，JAVA來查詢和Scala提供更多信息有關查詢diferent集合如下： ./bin/spark-shell --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.coll 然後在你的代碼可以指定其他集合設置配置： sc.loadFromMo

0熱度

1回答

在Hive中加載SparkR數據幀

我需要加載SparkR中創建的DataFrame才能加載到Hive中。 #created a dataframe df_test df_test <- createDataFrame(sqlContext, data.frame(mon = c(1,2,3,4,5), year = c(2011,2012,2013,2014,2015))) #initialized the Hive con