amazon-data-pipeline

2熱度

1回答

我正在處理數據管道。在其中一個步驟中，來自S3的CSV被RedShift DataNode使用。我的RedShift表有78列。檢查用： SELECT COUNT(*) FROM information_schema.columns WHERE table_name = 'my_table'; 失敗RedshiftCopyActivity 'stl_load_errors' 表之後顯示「分隔

0熱度

1回答

亞馬遜數據管道：用於自定義格式上可接受的類型列表

我使用DataPipeline到管從S3一個CSV到RDS 作爲此過程的一部分，我使用DataFormat其是CSV 按照documentation，我可以有STRING,DATETIME和INT 是否有其他類型可以使用？（即日期，浮點數等）謝謝！

0熱度

2回答

有沒有辦法只從RedShift複製特定列到S3使用RedShiftCopyActivity？

我假設從RedShift - > S3複製只能用RedshiftcCopyActivity完成。不過，我似乎無法找到一種方法來將特定列複製到S3（僅複製所有列）。我這樣做的原因是因爲Redshift中的一列包含回車符，它與後面定義的PigActivity混淆在一起。所以我想，因爲我不需要那個專欄，我只會複製專欄，以使我的PigActivity平穩運行。

1熱度

1回答

AWS數據管道 - 當前的文件名作爲變量

我有S3DataNode與指定Directory Path而不是一個文件。此節點由各種不同文件從外部來源填充。將數據行插入RDS表時，我想插入有關當前文件名的信息。有沒有辦法獲得當前的文件名？在此先感謝！

0熱度

1回答

在AWS上創建新管道

我創建並配置了數據管道以運行AWS CLI命令，以預定的時間間隔停止和啓動Amazon EC2實例，但在激活它之後，數據管道狀態將失敗，如下圖所示： enter image description here 我混淆了關於它的參數;如果填寫是這樣的： aws ec2 start-instances --instance-ids i-0bbd2c85 --region ap-southeast-1a;

0熱度

2回答

如何爲AWS數據管道指定EC2計算資源

我想創建不同類型的管道，但我無法正確指定EC2計算資源。我有我的EC2實例，並且我提供了它們的子網ID，但它仍然但不起作用。我是否必須一起創建不同類型的計算資源請讓我知道在控制檯中配置此步驟的步驟

0熱度

1回答

如何使用配置單元腳本訪問dynamoDb中blob的個人元素？

我正在使用AWS Data Pipeline中的配置單元腳本將數據從DynamoDB傳輸到S3。我使用的是這樣的腳本：創建存儲BY 「org.apache.hadoop外部表dynamodb_table（屬性STRING，EMAIL STRING，.............）。 hive.dynamodb.DynamoDBStorageHandler'TBLPROPERTIES （「dynamo

1熱度

1回答

使用AWS管道對我有以下過程夜間數據加載

是夜間運行：抓住XML從FTP服務器與一些XSLT的變換的XML以XML格式爲MySQL的使用「加載XML」 mysql命令我一直在閱讀有關AWS數據管道，而是我具有它聽起來像AWS管道可適合於這種EC2實例此過程中運行加載新的XML但我有幾個問題：在步驟2中，xslt具有一些自定義函數。目前，轉換是通過.NET控制檯應用完成的，但是如果有辦法在雲中執行此操作，我可以將其轉換爲節點。管

0熱度

2回答

AWS Data Pipeline Service創建新的ec2實例

我創建了一個新的DataPipeline來停止某些實例，例如標記爲自動停止/自動啓動。我的命令是某事像這樣： aws ec2 describe-instances --region us-west-2 --filter "Name=tag:auto-stop,Values=yes" "Name=instance-state-name,Values=running" --query 'Reserv

1熱度

2回答

通過數據管道生成不完整副本的DynamoDB表複製

我有一個14.05GB的DynamoDB表，其中包含140,000,000個項目。我試圖使用數據管道克隆它（到同一地區），但目標表只有約160,000個項目，當管道完成後，我等待6個小時才能查看項目數量。我將每個表的吞吐量設置爲256，管道大約需要20分鐘才能完成。有什麼可能導致管道只複製表的一部分？在尺寸和物品數量上有無形的限制嗎？我已經嘗試了這3次，每次與包含140M項目的90-150k的「