etl

0熱度

1回答

我正在運行由於數據質量問題而失敗的ETL作業。在我的源文件中，我的日期列是字符串格式，我使用to_timestamp()方法將它轉換爲TIMESTAMP，同時將其存儲到目標中。當一個日期值（字符串格式）爲2016-06-而不是2016-11-10 06:07:48.633時，此作業失敗。由於值不正確，我無法將其轉換爲時間戳，而且整個作業都失敗。如何以通用的方式應用格式檢查來驗證日期（在字符串

1熱度

1回答

SSIS錯誤打印在C＃腳本中的變量值

我想創建一個示例關於如何捕獲行計數結果在SSIS包內的變量，然後只使用簡單的腳本任務打印值。因此，首先，我創建一個變量作爲Int32，我將存儲行計數結果集，然後通過count來捕獲SSIS操作行數中的值。然後，在我的腳本任務，我通過變量爲只讀。最後，我在公共無效方法類型的代碼顯示當前變量的值。 public void Main() { // TODO: Add yo

0熱度

1回答

集成/轉換來自不同/不同源的數據而不存儲它

我有一個用例。我想整合/轉換來自不同/不同來源的數據而不存儲它。數據源是數據庫（oracle，db2等），Webservice（Rest/Soap），平面文件（CSV，XML，JSON），MQ轉儲，大型機系統。我想從這些來源獲取數據，並進行某種智能轉換和集成，並將其提供給我們的客戶。它看起來像典型的ETL場景，但我的情況不同。我不允許存儲絕望來源給出的數據，這就意味着，舉個簡單的例子，我從orac

1熱度

1回答

ETL過程如何映射到MS Excel Power Pivot（數據模型）

主持人如果需要，請移到相應的論壇。我使用MS Excel 2016進行數據可視化。可以理解提取意味着將Excel數據保存到電子表格中，並且轉換數據意味着在Power Query中對其進行操作。問題：但是，如果我決定將數據加載到Power樞軸（數據模型）沒有落在回變換，因爲你可以創建日曆表創建度量值（或必要時計算列數）或者使用Power Pivot（數據模型）屬於數據建模，因爲您不再格

0熱度

1回答

如何從SCD TYPE2表中特定年份獲取數據

我有一個SCD 2型表，其中包含： - ib address start date end date flag 1 a Jan-12 Dec-00 X 2 b Jan-13 13-Mar x 2 c 13-Mar Dec-00 y 3 d Feb-13 Dec-00 Y 1 v Sep-17 Dec-00 Y 我想獲取所有員工的地址於2013年年選擇所有活動從表

0熱度

1回答

獲取配置聯盟中的錯誤SSIS中的所有轉換

我正在從Microsoft培訓工具包（70-463）進行一項練習，在該練習中，我必須創建一個SSIS包，該包從3個不同的表中獲取數據併合併到一個DW表之間我必須進行各種變革。在創建轉換時，我被卡在Union All轉換中，該轉換從Look Up和Derived Column轉換中獲取數據。我在配置Union All轉換時遇到錯誤。對於您可以參考這個 exercise document 我有在埃克

0熱度

2回答

在Pentaho中生成的隨機值（uuid）作爲列值？

我在Pentaho的一個轉變，看起來像這樣：這種轉變填充表PRO_T_TICKETS PostgreSQL中。而此表主鍵被命名爲OID並且具有uuid數據類型。這裏是我的數據庫剪斷聯接查詢：我想作爲Pentaho的列值使用生成的隨機值OID。我的問題是我應該在我的Pentaho工作流程中放置「生成隨機值（OID）」的步驟，以及我應該在db連接中進行哪些編輯，以便連接選擇這個生成的uuid

0熱度

1回答

轉換Python的JSON文件到熊貓據幀

我有以下的JSON文件： Json = json.loads(resp.text) print pprint.pprint(Json) Response: {u'data': [{u'assignedUser': None, u'author': {u'authorData': {u'blogId': u'4050964395'},

0熱度

1回答

對所有現有映射實施行級別標識（自動化）

我試圖在informatica中的目標中實現行級別標識。映射已經存在，並且已經建立了鏈接，但是我希望這個更改能夠在超過1000個映射中實現。我如何在不影響當前映射的情況下執行此操作，因爲在1000個映射中手動添加列變得非常繁瑣。有一個更好的方法嗎。請告訴。如果我的問題不瞭解，請詢問。

0熱度

1回答

REST API工具

是否有可以將數據發送到REST API的IBM ETL工具？或者，ETL工具可以配置爲將數據導出到Web服務？假設我們有一個ETL管道，我們將數據加載到管道末端的倉庫。但在中間階段之一，我們希望使用Web服務將數據推送到另一個應用程序。