amazon-redshift

1熱度

1回答

我有一個大的清單文件，其中包含大約460,000個條目（所有S3文件），我希望加載到Redshift。由於我無法控制的問題，這些條目中的一些（可能是一打或更多）包含錯誤的JSON，如果我一次傳入整個清單，會導致COPY命令失敗。使用帶鍵前綴的COPY也會以相同的方式失敗。爲了解決這個問題，我編寫了一個Python腳本，它將一次一次通過清單文件一個URL，併爲每個使用psycopg2的COPY命令

0熱度

1回答

Amazon Redshift VACUUM不成功

我的表有17500000行，我刪除了500k行。刪除後，我運行了vacuum命令。根據SVV_VACUUM_SUMMARY，row_delta是真空前後表格總數的差異。但是，當我看到SVV_VACUUM_SUMMARY表時，row_delta是0.它不應該是500K嗎？而且，這裏是從STL_VACUUM表輸出：狀態行sortedrows 開始1750 813055 成品1750 1750

1熱度

2回答

如何基於距離特定緯度/經度來查詢Amazon Redshift表中的用戶IDS列表？

目前正在使用： SELECT uid,lat,long, ( 6371 * acos( cos(radians(value)) * cos(radians(lat)) * cos( radians(long) - radians(value) ) + sin(radians(value)) *

-1熱度

1回答

Redshift - Data Warehouse數據刷新

我有我的數據倉庫建立在Amazon Redshift上。我目前面臨的問題是，我的架構中有一個龐大的事實表（大約500M行），其中大約有10個客戶端的數據。我有定期（主要是每天）爲這個事實表生成數據並需要刷新的過程，意思是刪除舊數據並插入新生成的數據。問題是，這個批量刪除 - 插入操作在我的事實表中留下了一個需要耗費時間並因此不能立即完成的VACUUM的問題。而這個事實表（由於刪除數據而產生的巨大

-1熱度

2回答

AWS：從dynamodb到紅移的數據轉換

我有一個存儲在DynamoDB中的每日日誌表（每天大約有10m輸入）。爲了做分析，我需要它轉移到Redshift。此外，我需要通過解析一個字符串（nvarchar（250））來創建新的列。我的想法是使用COPY命令並將數據從DynamoDB傳輸到Redshift，然後使用UDF創建新列。這種方法的問題是，它需要花費很多時間來完成（這兩個部分），並且它保持失敗（查詢的狀態爲ABORTED）：我在

0熱度

2回答

Redshift/S3 - 將Redshift表的內容作爲JSON複製到S3中？

使用標準Redshift COPY命令可以直接將S3上的JSON數據複製到Redshift表中。但是，我也在尋找相反的操作：將現有Redshift表中包含的數據複製到存儲在S3中的JSON，以便隨後的Redshift命令可以完全按照原樣重新創建Redshift表本來。我知道Redshift UNLOAD commnd，但它似乎沒有提供任何選項將數據直接存儲在S3中以JSON格式。我知道我可以編

0熱度

1回答

Redshift Composite Sortkey - 我們應該使用多少列？

我在Amazon Redshift上構建了幾個非常大的數據表，它應該包含幾個經常查詢的屬性和相關指標的數據。我們使用均勻分佈樣式（「diststyle even」）使所有節點都參與查詢計算，但我不確定sortkey的長度。它絕對應該是複合 - 每個查詢將使用日期和網絡上的第一個過濾器 - 但在該級別之後，我有大約7個額外的相關因素可以查詢。我見過的所有例子都使用2-3個字段的複合排序鍵，最多

1熱度

1回答

在將數據插入紅移表後檢查文件時出錯

我在中有一個表Redshift其中我插入S3的數據。我在插入數據之前查看了表格，並返回了一個空白表格。然而，在Redshift表中插入數據後，我收到以下錯誤，而這樣做SELECT * FROM表。從S3中複製表中的數據的命令運行成功，沒有任何錯誤。 java.lang.NoClassDefFoundError: com/amazon/jdbc/utils/DataTypeUtilities$

0熱度

2回答

紅移：超長的查詢需要效率援助

第一關：這是寫在aginity 我需要一些幫助，因爲我想提出一個模型這個超級長的查詢紅移查詢。一切都很好，直到我的最後一節，第10節，我必須做一些工會。我能夠運行，但不參考臨時表查詢7和查詢8。如果我運行整個查詢並在末尾輸入Select * from Inquiry6，它將運行。但是，如果我運行整個查詢並在末尾輸入Select * from Inquiry7，我開始出現奇怪的錯誤，如連接中斷。。

0熱度

1回答

紅移工作量梟雄：內存

我想設置紅移工作負載管理來處理 50％ETL 30％的Tableau的RPT 20％即席查詢。我想知道未分配的內存會發生什麼，因爲我的ETL只在晚上運行？當該隊列空閒時，我的ETL隊列在一天中分配給50％的內存會發生什麼？我讀了紅移文檔，它只是說任何未分配的內存由亞馬遜紅移管理，而不是描述性的。