amazon-kinesis

1熱度

1回答

我想使用下面的代碼來解壓base64解碼的緩衝區對象，但回調函數沒有得到執行。誰能告訴我什麼，我在這裏失蹤 function (event, context) { event.Records.forEach(function (record) { // Kinesis data is base64 encoded so decode here var payloa

2熱度

1回答

Spark無法從Amazon Kinesis獲取事件

最近我一直試圖從Kinesis獲取Spark讀取事件，但在接收事件時遇到問題。雖然Spark能夠連接到Kinesis並能夠從Kinesis獲取元數據，但無法從中獲取事件。它總是取回零元素。沒有錯誤，只是空的結果回來。 Spark能夠獲取元數據（例如kinesis等中的碎片數量）。我已經使用這些[1 & 2]指南獲得它的工作，但還沒有得到太多的運氣。我也嘗試了幾個來自SO [3]的建議。羣集有足

1熱度

1回答

python KCL連接到kinesis流時發生異常

我正在嘗試將kinesis集成到spark流中，並且我正在使用python和KCL。從室壁運動讀書時，我得到這個例外，大部分的時間「UTF-8」編解碼器不能在940位解碼字節的0xf1：無效延續字節可有人請讓我知道我怎麼能解決這個問題這是我如何創建流 kinesisStream = KinesisUtils.createStream(ssc, APPLICATION_NAME, STREAM

2熱度

1回答

Amazon Kinesis記錄的ApproximateArrivalTimestamp有多準確？

去年AWS announced Kinesis記錄的服務器端時間戳。這個時間戳有多準確？

2熱度

1回答

AWS Lambda函數從kinesis流中無限讀取記錄

我有一個kinesis流，其中包含一個分片和一個用python編寫的lambda函數。我添加了kinesis流作爲批處理大小爲5的事件源。我將幾百條記錄添加到kinesis中，並且lambda函數被正確調用和執行。但是對於最後3條記錄，即使函數返回成功，lambda函數也會無限調用。 lambda表達式： from __future__ import print_function import

1熱度

4回答

Kinesis流式處理示例在EMR（EMR 4.3，Spark 1.6）上無法工作在集羣模式下

我試圖在集羣模式下運行EMR 4.3上Kinesis Streaming word-count示例的版本失敗。具體而言，即使我可以訪問流的元數據，也不會從Kinesis讀取消息。此相同的代碼不相同的EMR集羣上運行的客戶端模式（即「本地[*]」），但是當我試圖做到這一點在集羣模式下室壁運動接收機的第一份工作是停留：，我什麼也看不到星火UI的流頁：起初我以爲這是資源/線程數量的問題，但基於配置

2熱度

1回答

Amazon-Kinesis：將記錄放到每個分片

我有一個Amazon Kinesis流，包含多個分片。碎片的數量以及消費者的數量並不是一個常數。我想在廣告流上向每個消費者廣播一個不常見類型的事件。製作人是否有辦法廣播一個記錄，即發現碎片並在每個記錄上放置記錄？

0熱度

2回答

Kinesis如何在工人中分配碎片？

有沒有試圖將相鄰的碎片分散到多個工作人員身上？在文檔示例中，它以1個工人/實例和4個分片開始。然後發生自動縮放，第二個工人/實例啓動。 KCL自動將2個碎片移動到工作人員2上。在自動縮放時，是否有任何嘗試將相鄰碎片與工人保持在一起？什麼時候分割碎片？感謝

0熱度

1回答

AWS Kinesis leaseOwner混淆

一個非常簡單的應用程序，在2個工人的Spark集羣上運行，使用Kinesis和2個碎片。我在North Virginia地區檢查Kinesis Streams Application State on DynamoDB（在此屏幕截圖中顯示）。我不時開始和停止工作，我剛剛注意到，當2個分片的leaseOwner是同一個工人時，應用程序工作正常。但是，當我停止當前leaseOwner（10.0.

1熱度

1回答

Kinesis到Redshift COPY命令使用JSONPaths文件錯誤

我想發送API調用的記錄到S3，然後只有特定的字段紅移。例如，我的節目發送以下JSON至S3成功： { "user": "user_name", "type": "GET", "date": "2016-03-22 16:14:13", "data": [{ "EmpID": 1, "LastName": "Smith", "FirstName": "Bob",