你好我所面臨的問題,同時將時間戳轉換爲POSIXlt,稍後從此時間戳o需要提取年,月,日,小時,分,秒
2015-12-01 00:04:39 is my timestamp
,這裏是我的嘗試
getwd()
rm(list=ls())
library(ggplot2)
library(plyr)
library(reshape)
library(scales)
library(gridExtra)
library(SparkR)
Sys.setenv(SPARK_HOME="/usr/local/spark").libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
sc <- sparkR.init(master="local","RwordCount")
args <- commandArgs(trailing = TRUE)
sqlContext <- sparkRSQL.init(sc)
df1 <- read.df(sqlContext, "hdfs://master:9000/test.csv", header='true', source = "com.databricks.spark.csv", inferSchema='true', stringsAsFactors = F)
if("timestamp" %in% colnames(df1)){
df1$pTime <- as.POSIXlt(df1$timestamp, format= "%Y-%m-%d %H:%M:%S")
}else {
df1$pTime <- as.POSIXlt(df1$Timestamp, format= "%Y-%m-%d %H:%M:%S")
}
但這裏得到錯誤不知道如何轉換 'DF1 $時間戳' 上課「POSIXlt」
後來我需要找出的年,月,DAYOFMONTH,開胃,分,秒爲我有這樣的片段
df1$Year <- df1$pTime$year-100 #Year
df1$Month <- df1$pTime$mon+1 #Month 1-12
df1$Day <- df1$pTime$mday #day of month
df1$Hour <- df1$pTime$hour #0â??23: hours
df1$Min <- df1$pTime$min
df1$Sec <- df1$pTime$sec
df1$WeekOfYear <- strftime(df1$pTime, format="%W")
,我上面的腳本使用以下語法執行,
bin/spark-submit --packages com.databricks:spark-csv_2.11:1.3.0 /home/script/analysis.R
**Error in as.POSIXlt.default(df1$timestamp, format = "%Y-%m-%d %H:%M:%S") :
do not know how to convert 'df1$timestamp' to class 「POSIXlt」
Calls: as.POSIXlt -> as.POSIXlt.default
Execution halted**
我如何擺脫錯誤,任何幫助將不勝感激。 感謝
我的代碼沒有出現任何錯誤。我嘗試了一個日期的角色矢量,例如你引用的那個。你應該給我們'str(df1)'。 – agenis
因爲我在sparkR腳本中使用它。 –