spark-avro

0熱度

2回答

當AWS-EMR執行我的星火工作我試圖讀取從S3存儲Avro的文件時，這個錯誤從S3閱讀的Avro：這一點與版本： EMR - 5.5 0.0 EMR - 5.9.0 這是代碼： val files = 0 until numOfDaysToFetch map { i => s"s3n://bravos/clicks/${fromDate.minusDays(i)}/*" } sp

2熱度

2回答

的NoSuchMethodError使用Databricks星火的Avro 3.2.0

我有一個火花主&工人Docker容器火花2.0.2和Hadoop 2.7運行。我試圖通過運行 df = spark.read.json("/data/test.json") df.write.format("com.databricks.spark.avro").save("/data/test.avro") 從不同的容器（同一網絡）pyspark提交一份工作，但我得到這個錯誤： java.

0熱度

1回答

如何添加databricks avro jar到hdinsight

我目前正試圖在外部庫spark-avro的HDInsight集羣上運行Spark Scala作業，但沒有成功。有人可以幫我解決這個問題嗎？目標旨在查找必需的步驟，以便能夠讀取駐留在HDInsight羣集上的Azure blob存儲上的avro文件。電流規格：火花2.0在Linux（HDI 3.5）clustertype Scala的2.11.8 火花組裝2.0.0-hadoop2.7.0-S

0熱度

1回答

databricks avro模式無法轉換爲Spark SQL結構類型

我們有kakfa hdfs連接器以默認avro格式寫入hdfs。樣品O/P：的OBJ^A^B^Vavro.schema 「[」空」，「字符串」]^@ $Í³ø{< 9D>¾Ã^ X：< 8D>紫外^ K^H5^F^F^B < 8a>^B {「severity」：「notice」，「message」：「Test message」，「facility」：「kern」，「syslog-tag」：「

2熱度

1回答

如何將字節從Kafka轉換爲原始對象？

我從卡夫卡獲取數據，然後使用默認解碼器對Array[Byte]進行反序列化，之後我的RDD元素看起來像(null,[[email protected]),(null,[[email protected])但我希望我的原始數據具有模式，那麼如何實現這一點？我以Avro格式序列化消息。

0熱度

2回答

在Spark中，如何將多個數據幀轉換爲avro？

我有一個Spark作業，它將一些數據處理成多個單獨的數據框。我將這些數據幀存儲在一個列表中，即dataframes []。最後，我想將這些數據框合併爲一個分層格式並將輸出寫入avro。該架Avro模式是這樣的： { "name": "mydata", "type": "record", "fields": [ {"name": "data", "type"

1熱度

1回答

如何複雜JSON或複雜的對象保存爲實木複合地板在星火？

我是新來的火花，我試圖找出是否有一種方法將複雜的對象（嵌套）或複雜jsons保存爲實木複合地板在星火。我知道風箏SDK，但我知道它使用Map/Reduce。我環顧四周，但我無法找到一個解決方案。感謝您的幫助。

0熱度

1回答

如何手動將火花紅移AVRO文件加載到Redshift中？

我有一個Spark作業，在編寫的COPY部分失敗。我已經在S3中處理了所有的輸出，但在計算如何手動加載時遇到了問題。 COPY table FROM 's3://bucket/a7da09eb-4220-4ebe-8794-e71bd53b11bd/part-' CREDENTIALS 'aws_access_key_id=XXX;aws_secret_access_key=XXX' for

0熱度

1回答

轉換org.apache.avro.generic.GenericRecord到org.apache.spark.sql.Row

我有org.apache.avro.generic.GenericRecord，avro schema利用這一點，我們需要與SQLContext API的幫助下創建dataframe列表，創建dataframe需要RDDorg.apache.spark.sql.Row和avro schema。創建DF的先決條件是我們應該擁有org.apache.spark.sql.Row的RDD，它可以通過使用下

1熱度

1回答

如何查詢avro格式的數據集？

這個作品有鑲木 val sqlDF = spark.sql("SELECT DISTINCT field FROM parquet.`file-path'") 我試着用Avro的方式相同，但它不斷給我的錯誤，即使我使用com.databricks.spark.avro。當我執行以下查詢： VAL sqlDF = spark.sql（「SELECT DISTINCT Source_Produ