amazon-athena

1熱度

1回答

我這裏有 Joe, 30, Male, 3 Winston, 40, Male, 7 Emily, 18, Female, 5 Wendy, 32, Female, 4 一個簡單的CSV文件，我上傳到AWS的S3桶。然後，使用雅典娜，我創建了一個表正確的S3存儲路徑格式爲* .csv數據formt 列，name string, age int, gender string, cons

2熱度

2回答

AWS雅典娜 - 創建外部表跳過第一行

我試圖創建CSV文件的外部表與AWS雅典娜與下面的代碼，但該行TBLPROPERTIES ("skip.header.line.count"="1")不起作用：它不會跳過第一行（頭）的csv文件。 CREATE EXTERNAL TABLE mytable ( colA string, colB int ) ROW FORMAT SERDE 'org.apache.had

0熱度

1回答

從雅典娜（AWS）數據庫並行讀取，通過R

我在AWS上的雅典娜數據庫上有一個很大的數據集。我想從它並行讀取，我習慣了foreach包的方法來從分叉內R. 我使用RJDBC 這裏就是我想： out <- foreach(i = 1:length(fipsvec), .combine = rbind, .errorhandling = "remove") %dopar% { coni <- dbConnect(driver, "jd

1熱度

1回答

將雅典娜和S3連接在同一個Cloudformation棧中

從文檔AWS::Athena::NamedQuery，不清楚如何將雅典娜附加到同一個堆棧中指定的S3存儲桶。如果我不得不從example猜，我會想象，你可以寫像一個模板， Resources: MyS3Bucket: Type: AWS::S3::Bucket ... other params ... AthenaNamedQuery: Ty

0熱度

2回答

AWS雅典娜地圖查詢

該表具有這樣的列， data MAP<string, string> 和行等， id | data 1 | {"foo": 123} 2 | {"bar": 456} 然後，如何搜索數據[ 「酒吧」] = 456？我試過了，但它顯示錯誤「列」欄無法解析「

0熱度

1回答

將文本轉換爲實木複合地板

我將管道分隔的未分區數據作爲Amazon S3上的文本文件，我從紅移卸載以清除我們的紅移節點上的空間。我在雅典娜創建了一個表來訪問這些數據，但我想優化我的數據以獲得性能。我嘗試使用AWS EMR將我的數據轉換爲parquet格式，並將它們作爲parquet格式的文件存儲在s3存儲桶中。我試圖按照AWS網站上的說明操作，但我發現這些說明有點令人困惑。

1熱度

1回答

您可以在一個「ALTER TABLE」命令中添加多個分區嗎？

我正在使用Amazon Athena通過存儲在S3存儲桶中的一些日誌文件進行查詢，並且正在使用分區來爲我需要查詢的文件分割一年中的幾天。我想知道 - 因爲我有很多天要添加到我的表格中，我可以在一個ALTER TABLE命令中完成所有這些操作，還是需要使用與我想要創建的分區數量一樣多的ALTER TABLE命令？這是我使用的那一刻命令的例子： ALTER TABLE logfiles

1熱度

2回答

在aws的360gb文本文件中將1620列轉換爲360gb文本文件中的行

0熱度

2回答

Athena - 有什麼辦法可以爲特定的文件名格式創建表格指向嗎？

我正在使用Athena從S3上分區的多個文件中查詢數據。我創建了一個 CREATE EXTERNAL TABLE IF NOT EXISTS testing_table ( EventTime string, IpAddress string, Publisher string, Segmentname string, PlayDuration do

1熱度

1回答

如何設置日期DDL在亞馬遜雅典娜

我試圖使用這個DDL在亞馬遜的雅典娜創建一個表，但是在查詢後，我看到我的所有日期值（在transactiondate字段中）都是NULL。源數據格式僅爲mm/dd/yyyy，即08/01/2017。任何想法？ CREATE EXTERNAL TABLE wf2（ transactiondate日期， amount十進制（10,0）， description串， filename字符串）日期的