調試Firehose沒有傳遞給Redshift的原因

我設置了一個將數據傳遞到我的Redshift羣集的Firehose流。它在短時間內工作，但似乎突然停止發送紅移。從我的調試Firehose沒有傳遞給Redshift的原因

select * from stl_query order by endtime desc limit 10; 
select * from stl_load_errors order by starttime desc; 
select * from stl_connection_log where remotehost like '52%' order by recordtime desc; 
select * from stl_error where userid!=0 order by recordtime desc;

運行這些命令不會列出最近的連接或複製。例如，我看到：

disconnecting session ... 52.70.63.204 ...   
initiating session ... 52.70.63.204  ...

...在我的連接日誌中，但它在一段時間後停止。我試過重新創建表和流，但它仍然沒有列出任何東西。但是，我的所有數據都是在S3中收到的。
另一個問題是s3目錄中沒有錯誤清單，表明沒有任何失敗。
我該如何調試？

來源

2016-03-01 Niru

找到了我的案子的答案。我配置了VPC組的紅移羣集。如果沒有列入白名單的訪問權限，連接嘗試將不會顯示在stl_connection_log中。我增加了流水的VPC組一個條目我的紅移集羣：http://docs.aws.amazon.com/firehose/latest/dev/controlling-access.html

：

Custom TCP Rule, TCP, 5493, 52.70.63.192/27

白名單IP的可以在底部找到

來源

2016-03-01 19:23:15 Niru

調試Firehose沒有傳遞給Redshift的原因

回答

相關問題