etl

1熱度

1回答

「truncate table？」語句（不帶雙引號）執行SQL任務失敗。我已將結果集設置爲「無」，使用輸入參數傳遞表名稱。

0熱度

2回答

我想使用Spark DataSet加載相當大的數據（比方說），其中的子集數據看起來如下所示。 |age|maritalStatus| name|sex| +---+-------------+--------+---+ | 35| M| Joanna| F| | 25| S|Isabelle| F| | 19| S| Andy| M| | 70| M| Robert| M

0熱度

1回答

如何總結每天和每週定義的層次結構的事件類型（使用SQL或ETL）

如果我有以下事件表，並且我想總結一下，那麼對於每個ID，EventDay，EventWeek，我會得到1行，如EventStatus被報告爲最嚴重/涉及(High>Low>Normal)。該解決方案將需要處理更多的事件周活動的日子是這樣的東西，可以用例如MySQL或MariaDB的兼容SQL或完成將ETL過程更適合的任務（與步驟概述）？ SampleTable ID EventStatus

0熱度

1回答

火花斯卡拉RDD /數據幀保存過濾和拒絕的數據

我有一個文件是這樣的： id,insert_date,name ==================== 1,20170620,abc 2,20170620,xyz 1,20170621,pqr 3,20170624,huy ,20170624,stu 我需要空ID，以過濾掉的記錄。此外，如果有任何ID正在重複，我需要選擇帶有max（insert_date）的記錄。我做這樣的：

0熱度

1回答

greenplum中的增量負載

我在greenplum中有外部和內部表。外部表格指向hdfs一個csv文件。 Hdfs中的這個csv文件每小時獲得一張表的完整數據。在greenplum的內部表格中增量加載數據的最佳方式是什麼？

0熱度

1回答

在Talend中 - 如何將表格添加到MySQL中

我有一些CSV文件需要導入到我的數據倉庫中。由於csv文件的列可能每天都在更改，因此我決定刪除舊錶併爲每個CSV文件每天創建一個新表。我更願意使用Talend作業來做到這一點。如果有人告訴我如何使用Talend作業在MySQL中刪除表或創建新表，我將不勝感激？

0熱度

1回答

從ssis2005升級到ssis2008r2的包不能從sql代理作業執行

我將一組ssis包從2005升級到2008r2。相應的數據庫已經從sql2005升級到sql2014。這些軟件包從BIDS運行良好。但是，當我從新的SQL Server代理作業執行它們（我已經檢查了使用，32位運行時複選框），包失敗，錯誤消息 Executed as user: ADMIN\SvcSQL13DVMDDEW03. Microsoft (R) SQL Server Execute Pa

0熱度

2回答

跨ETL工具在ETL作業上遷移

我想開發一個解析邏輯，以便可以以xml格式提取作業（AI中的圖形，Inofrmatica中的圖形或DS中的作業），並跨ETL工具進行遷移，而無需返工在另一個目標ETL工具中重新創建作業/圖表/映射。任何人都可以提供任何線索？

-1熱度

2回答

的SQL Server 2014從2015年SSDT

包你好，我在2015年SSDT創建一個包，我想在SQL Sever的運行它2014年我試圖「拯救的副本。」得到它保存在SQL服務器。當我創建了一個作業，並嘗試執行包我得到一個錯誤： Could not load package "\pl_dump" because of error 0x80131430. 我一直試圖讓這個工作了幾天，看到這麼多不同的教程和不同的軟件，但沒有成功下載。有誰知道如何

2熱度

3回答

SSIS在腳本任務中讀取平面文件連接

我正在研究一個2008 SSIS，我需要讀取一個平面文件以便可以訪問其內容（具有3個目錄路徑），因此可以存儲這3個路徑變成變量。根據我正在開發的實例（dev，qa，production），平面文件將位於3個不同的服務器中，所以我不能將路徑寫入變量，因爲我必須重寫每當我需要在不同的實例中部署解決方案時，這個價值就會得到體現。我過去試過的一些東西是使用Directory.GetCurrentDir