從Oracle表格流式傳輸到Redshift

Question

我是Redshift和AWS生態系統的新手。我正在尋找選項或最佳實踐，以便將Oracle EBS表中的數據更改流式傳輸到Redshift。

1. 如果S3被用作臨時區域？因此Oracle-> S3-> Redshift？這對於將Oracle表實時流式傳輸到Redshift有用嗎？
2. 任何方式繞過S3分期和做Oracle-> AWS Kinesis（Firehose） - > Redshift？如果是這樣，有沒有這樣的情景我可以讀？
3. 如何使用Kafka代替AWS Kinesis？
4. AWS Kinesis或Kafka可以直接從內部部署的Oracle實例中獲取嗎？
5. 是否有其他替代品/組件，用於將近實時或幾乎實時數據加載到Redshift的ETL工具？

Oracle提供了大量的表格，這些表格是在本地進行的。我是Redshift的新手，但熟悉Oracle，SQL Server，PG。對不起，如果我完全擊敗了這裏。

請幫助:)任何想法和/或引用將高度讚賞...

Answer 1

按照文檔here，1和2是相同的，本質上。你不會使用firehose繞過S3，只是掩蓋它。如果在多個羣集上有很多表，Firehose目前是無用的。除非您計劃自動將支持請求發送到AWS支持以增加限制（我正在考慮它，請不要笑）。

我會去用COPY命令from S3加載。

插入當前緩慢的，我的意思是SLOW。不要使用在引擎蓋下生成插入語句的方法。

我的使用情況： 阿帕奇風暴流事件紅移，使用S3作爲臨時區域。適用於每天每桌數以萬計的事件，每個數據庫幾十個表，每個集羣幾個數據庫，幾個集羣。我們使用API​​網關，AWS Lambda和S3作爲第二個流程的暫存區域。每天數以萬計的事件，幾個不同的集羣，每個集羣上的幾個數據庫，每個數據庫都以這種方式加載一個表。

可以在理論上，發行COPY命令使用SSH，但你必須準備的清單文件（等待它）... S3。所以我不知道爲什麼你不使用S3來分級數據存儲。

至於從內部部署的Oracle流數據S3，它是一個完全不同的主題完全，你應該尋找答案從別人精通甲骨文。我會看CDC，但我不是Oracle專業人員，所以無法分辨這是否是一種好方法。

我希望這會有所幫助。