amazon-kinesis

0熱度

1回答

我正在使用Amazon Kinesis代理來追蹤我的nginx Web訪問日誌，以便將訪問日誌推送到Kinesis - 最終在Kinesis Analytics中使用。代理程序正在運行並正在拖曳我的訪問日誌，然後將記錄推送到Kinesis。我可以看到記錄到達Kinesis，因此連接性很好。我與格式化程序選項有關的問題 - 特別是關於「LOGTOJSON」。下面是/etc/aws-kinesi

0熱度

2回答

無法使用可靠的模塊創建aws kinesis流...！

我試圖用ansible創建AWS室壁運動流，我得到了一些例子模塊片段從here 我修改的摘錄kinesis.yml就是在這裏創造室壁運動在特定區域流： - hosts: localhost connection: local gather_facts: no vars: #aws region to create kinesis region: ap-so

0熱度

2回答

AWS Kinesis Firehose - 使用索引旋轉（Elasticsearch）

我建立了一個新的AWS Kinesis Firehose流，我想每週創建一個新索引。爲此，我應該在配置流時使用Index Rotation設置。但是，我是否必須在下週即將到來的每個週末都有新的指數？如果沒有（希望不是），Firehose如何知道要使用哪種映射？它是否使用我在Index設置中指定的索引中定義的映射？更多的，可以說我有舊數據，我可以讓Firehose根據我的舊數據中指定的日期創

0熱度

1回答

Kinesis Analytics SQL：Throtte每N分鐘只有1行

我正在編寫一個SQL，它在出現特定條件時輸出一行。這是連接到一個流，然後調用Lambda。當這種情況在短時間內多次表明爲真時，問題就來了。每隔N分鐘我只想觸發一次Lambda。我的解決方案從DESTINATION_SQL_STREAM中讀取N分鐘的滑動窗口，如果count（*）== 0，則發送一個新行，但出現錯誤Object definition contains recursive cycle

0熱度

1回答

如何檢查Kinesis客戶端的連接狀態？

我在負載平衡器後面運行一組Web服務。磅週期性地請求狀態端點來驗證特定服務器是否在運行。該服務端點檢查連接到所有外部服務（SQL，Redis的，室壁運動等）要檢查我最初使用kinesis.listStreams()的室壁運動連接，但由於我們增加服務器的數量，我們正在運行到5請求/秒limit的listStreams命令。什麼是最好的/最便宜的方法來驗證kinesis可用？我們正在使用Java

1熱度

1回答

許多生產商的Kinesis碎片

我需要從許多數據源（例如手機）收集數據。例如，1000部手機，每20分鐘上傳一批1MB。我正在考慮使用帶有單個碎片的Kinesis流來提取數據（總吞吐量大約爲1MB/s）。單個手機可以直接訪問Kinesis API嗎？還是應該將我自己的前端（例如Web服務器）放在前面？做出這個決定時要記住的主要限制/考慮是什麼？ P.S.使用AWS IoT基礎設施的替代方案將會相當昂貴

-1熱度

1回答

javac錯誤：「找不到符號」

我想編譯一個EC2實例上的java文件，並且遇到了問題。我有幾個JAR文件以及包含在classpath中的文件。這個例子是一個StockTrade.java（這是一個股票交易對象），它完全沒有問題地編譯。在同一個目錄中，有StockTradeGenerator.java，它將創建StockTrade對象。當我嘗試編譯它時，它告訴我它找不到StockTrade類（儘管它處於已編譯的同一目錄中）。具體

9熱度

1回答

從MySQL二進制日誌流數據到Kinesis

我們在遺留系統中有一個寫入密集型表（在AWS RDS MySQL上），我們希望將該表中的每個寫入事件（插入或更新）都流到kinesis。這個想法是創建一個管道來預熱緩存並更新搜索引擎。目前我們使用基本上使用SQL的基本輪詢體系結構來完成這項工作，但理想的做法是使推式體系結構直接從事務日誌中讀取事件。有人試過嗎？任何建議的架構？

0熱度

1回答

如何在1個Spark Streaming應用程序中解析來自2個Kinesis流的數據？

我試圖做使用兩個室壁運動流查詢 select a.user_id , b.domain from realTimeTable_1 as a join realTimeTable_2 as b on a.device_id = b.device_id 。但是Stream2中缺少輸出，有人知道如何將兩個數據流同時加入或寫入hbase或Parquet嗎？這裏是我的代碼，我設置SparkConf().se

0熱度

1回答

Spark爲Kinesis流啓動了多少消費者？

我有一個Spark集羣（1.6.1），其中1個主站和4個從站運行在Mesos上。我正在運行來自Kinesis Stream的流程數據。代碼工作正常，除了我可以看到Spark大量使用兩個奴隸。經過更多的調查，我看到Kinesis流租約只給予一臺機器，每個數據被複制一臺機器。請參見下面的星火UI圖像細節我的問題是，爲什麼星火未利用其他兩個奴隸？ Spark是否總是最多隻啓動一個偵聽器？它依賴於K