etl

0熱度

1回答

問題：我試圖將數據從SQL Server中的一個表移動到Postgresql中的另一個表。 ETL過程是這樣的： def transfer_data(): sql = """SELECT TOP(100) * FROM LoanAgreements""" df = pd.read_sql(sql, lms_conn) df.to_sql(PG_TABLE, engin

1熱度

2回答

Apache Camel和Apache Airflow是否重疊？它們是如何比較的？

目前，我們正在使用Apache-Camel爲ETL，那就是，我們每天服用/來自不同數據庫的每週/每月的出口，執行所需的操作，然後某處公佈結果供其他數據庫攝取。最近我看到一個Apache-Airflow談話，在我看來，它可以做的工作，駱駝是隻是做容易。更容易我的意思是它看起來會更自我記錄，因此更容易維護。我對麼？而爲什麼兩者之間沒有比較，就像Camel and Mule之間有比較？

2熱度

1回答

SSIS - 使用ODBC SQL執行任務將參數導入要導入的結果集

首先要做的事情。我對SSIS完全陌生，並試圖找出它在ETL方面的潛力，並最終轉向SSAS。我有以下情形：我有一個InterSystems的數據庫，我可以通過ADO .NET 我想從這個數據庫中提取數據，並通過增量加載使插入到MS SQL連接我建議的解決方案/目標是：在MS SQL中有存儲最後指針讀取或日期/時間快照的表。（在這個階段不合適）。讓我們保持簡單並說我們要使用Intersyste

0熱度

1回答

使用Pentaho插入更新/合併/維度查找/更新

PostgreSQL.I中有一個表'TICKETS'使用Pentaho執行ETL作業來填充此表。還有一個用戶進行更改的GUI，結果反映在此表中。在表中的字段有： "OID" Char(36) <------ **PRIMARY KEY** , "CUSTOMER" VARCHAR(255) , "TICKETID" VARCHAR(255) , "PRIO_ORIG" CHAR(36)

0熱度

1回答

具有期望值的轉換

我正在嘗試使用powercenter設計器進行一個過程，但我沒有得到所需的目標。我有這些初始數據： CODE CODE2 OPTION 001 A 89 001 A 55 001 A 12 002 B 25 002 A 59 025 A 44 我一定要得到它的代碼執行以下操作：如果每個代碼的幾個記錄，那麼你必須把價值1111的選項2場的在OPTION字段中

0熱度

1回答

無法在鏈接的服務器上運行openquery

我正在鏈接服務器（IBM DB2）上運行查詢，我這樣做的原因是因爲執行簡單查詢需要很長時間。下面是兩個查詢，第一個成功地運行，因此，問題不是與查詢 select top 10 * from [AS400TS_LNK].[TEST].[AUPRDDBF].CONTACCT where actrno = '8971' select * from openquery(AS400TS_LNK

0熱度

2回答

SnapLogic - 你可以參數化db連接

在SnapLogic中，有沒有一種方法來設置數據庫連接信息的參數，這樣你就可以創建一個可重複使用的管道，它可以傳遞選擇管理單元的賬戶的db連接信息？

0熱度

1回答

DataStage - 列出具有無效日期的字段

我想列出具有無效日期的字段。目前我只能在下面的條件下檢查日期有效性。 If IsValid('%dd-%mm-%yyyy',ln_source_1.A_Date) or IsValid('%dd-%mm-%yyyy',ln_source_1.B_Date) or IsValid('%dd-%mm-%yyyy',ln_source_1.C_Date) then 1 else 0 DATE

-1熱度

3回答

MYSQL更改數據捕獲（CDC） - Azure服務（Azure數據工廠）

我想對MYSQL數據庫的數據表執行ETL操作並將數據存儲在azure數據倉庫中。我沒有更新日期列以標識期間的修改記錄。我如何才能知道哪條記錄被修改。 MYSQL數據庫是否支持CDC？使用Azure服務（Azure數據工廠）可以讀取MYSQL二進制日誌或二進制日誌？

1熱度

2回答

SSIS將SQL數據庫打包到Excel電子表格中的目標Unicode錯誤

我有一個數據庫OLE源去往Excel目標。我收到以下錯誤數據流錯誤[Excel目標[88]]：列「X」不能在unicode和非unicode字符串數據類型之間轉換。我在數據轉換中添加了將字符串列更改爲Unicode。這並沒有解決問題。任何指導將不勝感激