dataflow

0熱度

1回答

在我的項目，我使用Nifi閱讀從Tomcat日誌文件，並在火花的應用處理這些數據，之後，在DB插入的過程數據。但我的問題是，在應用服務器層面，我有2個不同的盒子4 Tomcat集羣（4個不同的日誌文件），我有標示出哪些數據是從哪個集羣的火花水平。在目前的設置我在Nifi 2 tailFile處理器，其指向單個外港，在每盒但不能夠識別哪些數據是從哪個羣集在火花水平。是否有tailFile處理器的

0熱度

1回答

使用存儲數據到查詢SSIS

我有一個查詢，我需要的數據，所以我將其存儲到OLEDB連接，因爲我想幾次使用該數據到另一個querys 查詢 SELECT * FROM ( SELECT TT.VOUCHER, TT.TAXITEMGROUP, TT.TAXCODE, TT.SOURCEBASEAMOUNTCUR, TT.SOURCETAXAMOUNTCUR, TTGJAERIVA.TAXTRANSRELATIONS

1熱度

1回答

SSIS - Teradata數據爲Attunity連接器和SQLServer 2016

我有我的開發機器從Teradata的15傳送到使用爲Attunity 4.0的SQLServer 2016上運行，從VS2015的SSIS包沒有問題，所有的TTU 01年10月16日以下的： ODBC驅動 OLEDB訪問模塊 .NET數據提供 TPT基地 TPT流，但是當我的包部署到同一個SQLServer的執行失敗，此錯誤：「數據流任務：錯誤：Teradata數據源的版本 - [來源名稱]是

0熱度

3回答

數據流腳本組件中的SSIS設置變量

我有一個輸入平面文件，每個輸出記錄有兩種類型的輸入記錄。第一條記錄（由第一欄C標識）有一個ID和人口統計信息。第二條記錄（由第一欄中的L標識）有一些財務信息。它們是管道分隔的，長度不同。沒有辦法將所有C記錄寫入到一個流中，並且L記錄到另一個流中，然後將它們放回到一起。所以我的解決方案是進行條件分割。當我在SSIS變量中打開C記錄存儲所需的所有信息時。當我點擊一條L記錄時，可以從變量中派生列，並使

0熱度

1回答

帶循環鏈接的TPL塊？

我使用TPL很多，並有大量數據流管道結構。作爲管道網絡的一部分，我想將一些數據寫入azure blob存儲。我們有很多數據，因此我們有4存儲帳戶，我們希望在它們之間均勻分配數據。希望繼續使用數據流管道模式，因此我想實現一個SourceBlock，如果我將它鏈接到幾個目標模塊，它將使用循環法將消息發送給它們。 BufferBlock不夠好，因爲他正在將消息發送到接受它的第一個塊，並假設所有目標塊

0熱度

1回答

執行OLE DB目的地時出現SSIS錯誤

我是SSIS的新手，所以一直在關注一些在線教程。我遇到以下情況，無法弄清楚發生了什麼。錯誤是與OLE DB連接如果任何人都可以指出我正確的方向來解決這將是偉大的。 SSIS package "c:\users\****\documents\visual studio 2015\Projects\tutorials\tutorials\basicpackage.dtsx" starting. I

0熱度

1回答

如何使用Apache Beam Python SDK在兩個給定密鑰的源上執行「差異」？

我一般提出這個問題，因爲它可能是一個通用的答案。但是一個具體的例子是將2個BigQuery表與相同的模式進行比較，但可能會有不同的數據。我想要一個差異，即相對於一個組合鍵，例如，添加，刪除，修改的內容。前2列。 Table A C1 C2 C3 ----------- a a 1 a b 1 a c 1 Table B C1 C2 C3 # Notes if comparing

0熱度

1回答

Apache-Beam將序列號添加到PCollection中

我試圖構建一個ETL來加載一個Dimension表。我使用Python和DataFlow和BigQuery來分配Apache Bea。我需要爲pcollection的每個元素分配一個序列號，以便將其加載到BigQuery中，但我找不到任何方法來執行此操作。我想我需要DataFlow使先前的聚合和連接，以獲得我最後的pcollection添加序列號，但在這一刻我需要停止並行處理，並將我的pcol

0熱度

1回答

解決apache波束管道導入錯誤[BoundedSource對象大於允許的限制]

我有一堆存儲在谷歌雲存儲上的文本文件（〜1M）。當我讀到這些文件到谷歌雲數據流的管道的處理，我總是得到以下錯誤： Total size of the BoundedSource objects returned by BoundedSource.split() operation is larger than the allowable limit 的故障排除頁說： You might enc

1熱度

3回答

使用Python SDK進行數據流流式傳輸：將PubSub消息轉換爲BigQuery輸出

我正在嘗試使用數據流來讀取pubsub消息並將其寫入大查詢。我獲得了Google團隊的Alpha訪問權限，並獲得了提供的示例，但現在我需要將其應用於我的場景。 PubSub的有效載荷： Message { data: {'datetime': '2017-07-13T21:15:02Z', 'mac': 'FC:FC:48:AE:F6:94', 'status': 1} att