flat-file

0熱度

1回答

我正試圖從平面文件中加載數據。該文件大小約爲2.5 GB，行數接近10億。我在DFT中使用平面文件源。文件中的幾行不遵循列模式，例如有一個額外的分隔符或者說文本限定符作爲一列的值。我想跳過這些行並加載具有正確格式的行的其餘部分。我正在使用SSIS 2014.DFT內的平面文件源失敗。我已將alwaysCheckforrowdelimiter屬性設置爲false，但仍然不起作用。由於文件太大，手動打

1熱度

1回答

SSIS文本限定符不是最後一列工作

我的平面文件字段是製表符分隔（\ t）的一個引號（「）文本限定符，並且每一行換行（LF）分隔。我的SSIS包工程偉大的，當一個）沒有字段是文本合格 b）除最後一列的任何字段是文本合格當最後一列是合格的文字我的包錯誤出說它無法找到我的最後一列分隔符。 ..任何想法？

0熱度

3回答

Mule Dataweave帶頁眉和頁腳的固定寬度文件

我正在處理一個項目，我們收到一個平面文件，但第一行和最後一行的信息不符合固定寬度模式。有沒有一種方法可以正確地將所有這些信息編織成數據，並且如果可能的話，將頁眉和頁腳放入變量中，並在有效載荷中包含內容。示例文件 HDMTFSBEUP00000220170209130400 MT HD07 DT01870977 FSFSS F3749261 CR004690

0熱度

1回答

節點JS中的最大可寫入流

序言：我正在試驗「多租戶」平面文件數據庫系統。在啓動應用程序之前，在啓動服務器之前，每個平面文件數據庫（我稱之爲日誌）都被轉換爲內存中的大型javascript對象。從那裏應用程序開始它的服務。應用程序運行時行爲將服務於來自許多不同數據庫（每個域一個數據庫）的請求。所有讀取僅來自內存對象。雖然任何CRUD都修改內存對象並將其流式傳輸到日誌。問題：如果我在內存中有N個已經從平面文件中加載的數

1熱度

2回答

當它具有動態名稱時，如何在SSIS中刪除ControlFlow中的FlatFile？

我使用SQL Server 2016，我有一個SSIS包，其中我創建了一個FlatFile，其中dynamic Name在Loop中的一個DataFlow中。爲了創建我已經使用這個pathern名稱：「SomeText」則會+ DateTime + 「SomeText」則會我已經創建了一個varibale像下面圖片：這是我的變數中的驚喜：然後我就分配這個變量來我FLATFILE目的地

1熱度

1回答

在SSIS中使用腳本組件來拆分數據

在我的DFT裏面，我有一個OLE DB Source將大型數據集加載到我的包中。該數據集有一個名爲TYPE的整數列，其值的範圍介於1到200之間。每種類型需要使用其名稱（1.text轉換爲200.txt，總共200個文本文件）加載到單獨的文本文件中。例如，對於所有類型爲125的記錄，將創建一個名稱爲「125.text」的文本文件，並且所有具有類型125的行都將到達那裏。我知道這可以用Condit

0熱度

1回答

如何在Informatica Cloud中創建多字符分隔符？

我有一個問題，我需要幫助解決。我所從事的業務是使用Informatica雲在ETL和其他服務中執行大量ETL。我們已經給出了一個平面文件，其中字段分隔符是「〜|」目前據我所知，informatica只接受單個字符分隔符。任何一個是否知道如何克服呢？

4熱度

1回答

使用FlatFileItemReader和TaskExecutor（線程安全）

有很多示例使用FlatFileItemReader以及TaskExecutor。我提供樣品下方（包括XML和Java的配置）： Using Oracle Coherence with Spring Batch Spring Batch Multithreading Example 我已經與大的CSV寫作與XML配置（GB大小），數據庫用它我的自我開箱即用的JpaItemWriter。即使沒有設置s

-1熱度

1回答

C＃Binaryformatter反序列化爲字符串？

我只將一個數據序列化到MyFile.bin文件中，現在我必須將其反序列化爲一個字符串或Int，並將當前值加1並再次保存，爲此要如何將值反序列化爲Int或字符串變量？代碼 public void saveMember() { string pathMemberPk = Path.Combine(Environment.CurrentDirectory, @"../memberData

0熱度

1回答

來自現有平面文件的類似DB的界面

我正在尋找最佳方式來做某些事情，而且我不確定現有技術可以幫助我做到這一點。我有大量的存儲在平面文件中的數據，比方說主要是標準csv文件，帶或不帶標題，包含ID和數字。這些文件分散在不同的文件夾中，但以「有組織的方式」（即我知道如何參數化路徑，它們不只是隨機傳播）。問題是，是否有一種使用這些文件的方式，就好像它們是適當的數據庫一樣。也就是說，我想有一個可以查詢和獲取回覆的界面。讓我給你一個例子：