amazon-athena

0熱度

1回答

想知道是否可以跳過Aws Athena的org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe中的標題行。我嘗試過tblproperties ('skip.header.line.count' = '1')，但不起作用。我的頭文件與OpenCSVSerDe協同工作，但它似乎只支持string數據類型，這將在查詢中結束很多工作。

3熱度

2回答

使用AWS內部的SQL Glue pySpark腳本

我想使用AWS Glue將一些csv數據轉換爲orc。 ETL任務我創建生成以下PySpark腳本： import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.co

0熱度

1回答

sql查詢中的base64子串

我使用aws中的athena來解析一堆日誌文件。查詢的標準是一個base64編碼的子字符串。（「adId = eW0vMU0zeGE5NUE4NjcyLzYzNDgvalhkVGhkZmxfODQwS182NDB4MzYwLm1wNAo =％somejunk」）據我所知，這個查詢沒有問題。 SELECT count(*) FROM reporting."logs" WHERE sc_sta

0熱度

2回答

Amazon S3的數據位置Athena

我創建了Amazon S3存儲桶並上傳了一個平面文件（着名的Iris flower data set數據爲csv）。我現在想在Amazon Athena中創建一個Iris數據集平面表並對其進行查詢。我找不到'輸入數據集的位置'。如何確定我的平板虹膜文件在S3存儲桶中的位置？是否可能有上述情況的教程（谷歌沒有幫助很多）？

1熱度

1回答

雅典娜

確定潛在的S3存儲的地址，我可以運行此查詢雅典娜前端： SELECT * FROM analysisdata."iris" limit 10; 當我點擊表格屬性我得到這個的位置： s3://Bladata887342ac-a3ce-4600-94d0-9092f4a6bd20/Iris 難道這就是我在Python代碼作爲s3_staging_dir使用像這樣： cursor = conne

0熱度

1回答

如何閱讀Athena中的轉義字符

您好我已經在Athena中創建了一個表格，下面的查詢將讀取csv文件格式S3。 CREATE EXTERNAL TABLE IF NOT EXISTS axlargetable.AEGIntJnlTblStaging ( `filename` string, ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'

0熱度

2回答

雅典娜日期格式無法字符串轉換爲日期甲

嘗試過的以下語法沒有幫助一個字符串類型列轉換爲日期 - 選擇CURRENT_DATE - 從APAPP100限10 選擇INVC_，APIDT，APDDT APAPP100限制10 - 從APAPP100中選擇date_format（b.APIDT，'％Y-％m-％d'）b - 從APAPP100中選擇CAST（b.APIDT AS date）b - 從APAPP100中選擇日期（b.APIDT）

0熱度

1回答

如何創建雅典娜表

我有（括號內爲樣本數據）與以下csv格式在S3一些日誌文件時劃分一個datetime列： userid (15678), datetime (2017-09-14T00:21:10), tag1 (some random text), tag2 (some random text) 我要加載到雅典娜表和分區中的數據基於日期時間以日/月/年的格式。有沒有辦法在創建表格時拆分日期時間，還是需

0熱度

1回答

你能在亞馬遜雅典娜創建視圖嗎？

是否有可能在亞馬遜雅典娜創建視圖？由於外部表基本上是存儲在S3上的文件中的數據的元數據，因此不涉及任何轉換。因此，您無法處理數據不一致問題。通常情況下，這可能會導致使用大量字符串字段來定義表。您可以在外部表的頂部創建一個可包含轉換邏輯的視圖，允許用戶查詢數據的「清理」視圖嗎？

0熱度

1回答

可以使用Cognito組來管理Athena中的行/列級別訪問嗎？

AWS Cognito Groups提供了一個非常強大的手段，使用戶組和權限。我需要管理Athena，Aurora等行/列級別的用戶數據訪問。有沒有一種方法可以使用Cognito來管理用戶數據訪問？我們可以管理ApiGateway的參數嗎？例如，限制用戶無法訪問/data/{company_name}以查找他們沒有權限的公司名稱。請提供指向文檔和示例的鏈接。