parquet

2熱度

1回答

如何將完整輸出模式下的流聚合保存爲實木複合地板？

我已經使用完整模式在流式數據幀上應用聚合。爲了在本地保存數據幀，我實現了foreach接收器。我能夠以文本形式保存數據幀。但我需要將它保存爲鑲木地板格式。 val writerForText = new ForeachWriter[Row] { var fileWriter: FileWriter = _ override def process(value: Row): U

scala apache-spark parquet structured-streaming 2017-09-26

---

0熱度

1回答

從Spark寫入時避免丟失分區數據的數據類型

我有一個如下所示的數據框。 itemName, itemCategory Name1, C0 Name2, C1 Name3, C0 我想保存這個數據幀作爲劃分拼花文件： df.write.mode("overwrite").partitionBy("itemCategory").parquet(path) 對於這個數據幀，當我讀回數據，這將有字符串的數據類型itemCategory

apache-spark spark-dataframe parquet 2017-10-10

---

1熱度

1回答

阿帕奇豬 - 最佳的蜂巢文件格式

有人可以解釋一下使用HCatalog在pigScript中使用蜂巢的哪個文件格式是有效的。 我想知道哪些配置單元文件格式將是有效的，因爲目前我們有一個基於日期的分區配置單元表和基礎文件是一個順序文件。 80天的數據讀取創建了大約70,000個非常龐大的映射器。試圖改變地圖拆分大小爲2GB，並沒有減少很多。 因此，而不是順序文件尋找其他選項，這將減少映射器的數量。每個數據的數據大小爲9GB。 有任何

hive hadoop2 parquet sequential orc 2017-10-10

---

0熱度

1回答

轉換鑲木FIXED_LEN_BYTE_ARRAY到本地Java地圖上DECIMAL減少

我的基礎數據使用HIVE輸出格式（org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat） 嘗試使用以讀取該數據寫入本地Java地圖降低 byte[] b = value.getBinary(value.getType().getFieldIndex(field), 0).getBytes(); HiveDecimal hd

java hadoop hive mapreduce parquet 2017-10-10

---

0熱度

1回答

Impala：AnalysisException：LEFT OUTER JOIN需要ON或USING子句

我有一個基於存儲視頻查看記錄的Parquet文件的Impala表。結構是： VideoSession ... ... accountdata struct < ... ... emailid string ... ... > ... playbacksegments <

parquet impala 2017-10-13

---

0熱度

1回答

是否可以在列存儲中只存儲一次列值？

我是卡桑德拉的新手，我有一個關於Cassandra和Parquet如何處理這個柱狀病例的基本問題。 我試圖找出自己，但沒有運氣到目前爲止。我發現在wiki …;Smith:001;Jones:002,004;Johnson:003;… 以下信息作爲兩個記錄存儲相同的值，「瓊斯」，就可以 商店這一次在列存儲，並指出了所有沿與之相匹配的行的 。對於許多常見搜索，例如「查找姓氏瓊斯的所有人 」，答案

cassandra datastax-enterprise parquet 2017-10-16

---

1熱度

2回答

從地板拼接文件讀取/寫入拼音張量

在pyarrow中，建議如何將pyarrow.Tensor（例如從numpy.ndarray創建）寫入Parquet文件？甚至可以不經過pyarrow.Table和pandas.DataFrame？

numpy parquet tensor pyarrow 2017-10-17

---

4熱度

1回答

從AWS s3存儲桶中讀取地板數據

我需要從aws s3讀取地板數據。如果我使用AWS SDK爲了這個，我能得到的InputStream這樣的： S3Object object = s3Client.getObject(new GetObjectRequest(bucketName, bucketKey)); InputStream inputStream = object.getObjectContent(); 但Apach

java amazon-web-services amazon-s3 parquet 2017-10-19

---

0熱度

1回答

csv是否使用pyspark分發的實木複合地板？

我有AWS EMR master node以下代碼片段將csv文件轉換爲實木複合地板文件。 %pyspark csv_path = "s3://<bucket>/file.csv" p_path = "s3://<bucket>/file.parquet" df = sqlContext.read.csv(csv_path, header=True, inferSchema=True)

amazon-web-services apache-spark pyspark emr parquet 2017-10-21

---

2熱度

2回答

從Flink 1.3.2升級到1.4.0 hadoop文件系統和路徑問題

我最近嘗試從Flink 1.3.2升級到1.4.0，我遇到了一些問題，無法再導入org.apache.hadoop.fs.{FileSystem, Path}。問題是發生在兩個地方： ParquetWriter： import org.apache.avro.Schema import org.apache.avro.generic.GenericRecord import org.apach

apache-flink avro parquet flink-streaming 2017-12-27

---