amazon-kinesis

5熱度

2回答

我是Kinesis的新手，所以這可能看起來像一個非常基本的問題，但我一直無法找到一個明確的答案，即讀寫事務之間的實際區別在Kinesis流中。從Amazon Kinesis Limits 相關部分： GetShardIterator可以提供高達每開放碎片第二5個交易。 GetRecords可以檢索10 MB的數據。每個分片最多可以支持每秒5個事務的讀取次數，最大總數據讀取速率爲每秒2 MB。每

2熱度

1回答

室壁運動GetShardIterator ...無效，因爲它並沒有從此流

來，我有建立在 https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html 一個KCL加上火花基地我運行這個電子病歷（通過引導安裝火花）。我已經創建了sparkTest，並且測試了它的工作正常。我發現沒有創建DynamoDB。我已刪除流和羣集。第二天，我再次創建了具有相同名稱的Kinesis Steam，並使用新啓

0熱度

1回答

似乎沒有火花加室壁運動整合

室壁運動Client Library應用程序，我通過代碼 https://github.com/apache/spark/blob/master/extras/kinesis-asl/src/main/java/org/apache/spark/examples/streaming/JavaKinesisWordCountASL.java 去它顯示室壁運動如何能發出流數據SparkContext然

2熱度

2回答

如何將25k記錄放入kinesis流中並使用測試工具來確認它

我開發了一款將記錄寫入Amazon kinesis Stream web服務的軟件。我想了解我們是否有任何軟件工具可以讓我在一秒鐘內測量我的代碼爲Kinesis Stream生成1個碎片的最大吞吐量。是的，我同意它也取決於硬件配置。但一開始我想Ø知道通用的機器，那麼也許我將能夠看到橫向擴展有了這個，我想實現25K記錄每秒寫入室壁運動流參考：室壁運動http://aws.amazon.com/

0熱度

1回答

嘗試從boto.kinesis連接到AWS Kinesis; us-west-1不起作用，但其他地區做

我使用boto連接到ASW Kinesis。出於某種原因，「美西-1」到「美西2」和「美東1」的工作，連接而不是： from boto import kinesis con = kinesis.connect_to_region("us-west-1") print con # None con = kinesis.connect_to_region("us-west-2") prin

0熱度

1回答

從亞馬遜kinesis獲取數據到java web應用程序

我是亞馬遜kinesis的新手，所以可能是這個問題是非常基本的問題。但我需要幫助，我有一個用例，我需要將數據從亞馬遜kinesis拉到我的web應用程序已在JAva中創建，我需要獲得kinesis和java之間的連接，以便我可以從亞馬遜kinesis中獲取數據並對數據進行一些分析，如果數據被修改，那麼我需要將數據從java應用程序中重新提交給亞馬遜kinesis。這裏我的Java應用程序不在

0熱度

1回答

Kinesis客戶端庫：一個流的多個工人

我有一個.war，其中我們有一個Kinesis應用程序處理包含單個分片的流。我們在生產中部署了兩場戰爭。結果，我最終會有兩名工作人員在一個單一的流中工作，只有一個碎片。建議如何處理這個問題？我嘗試在我的開發機器上本地部署兩場戰爭，並且從每種記錄只處理一次的意義上來看似乎沒有問題。我知道AWS推薦每個分片一個實例。從他們的文檔： Typically, when you use the KCL, yo

11熱度

2回答

如何確定AWS kinesis流中的分區鍵的總數量？

在生產者 - 消費者網絡應用程序中，應該如何爲Kinesis流分片創建分區鍵。假設我有一個有16個分片的kinesis流，我應該創建多少個分區鍵？它真的取決於碎片的數量嗎？

1熱度

1回答

在室壁運動（KCL）C＃

的MemoryStream的處置在AWS Kinesis Client Library (KCL)有一個sample producer包含下面的代碼： for (int j = 0; j < 10; ++j) { PutRecordRequest requestRecord = new PutRecordRequest(); requestRecord

1熱度

2回答

將數據寫入Amazon Kinesis的推薦方式

我想弄清楚可以將數據寫入kinesis的託管服務。用這種方式我需要我的消息應該至少有一個交付kinesis流。是否推薦或使用SQS寫入Kinesis是一個好主意。我正在尋找可以水平擴展的解決方案。