2013-07-02 53 views
0

我想用「Microsoft Access輸出」步驟填充數據庫表(訪問),但我得到非常差的性能。我的意思是我的數據是從2 xmls讀取的,並在1分鐘內合併(36000行數據),訪問輸出現在以12 r/s的速度運行1小時。我將Commit大小設置得足夠高,以便一次提交所有ma數據(Commint大小爲500,第10次提交後我得到了一些java錯誤)。Pentaho勺微軟訪問輸出性能

如果我在csv中編寫我的文件並將其導入到訪問中,那會更快,但我希望儘可能自動化進程。 歡迎任何建議,以獲得更好的表現。

回答

0

我從來沒有與MS-Access輸出步驟的好運。如果爲Access數據庫創建ODBC條目並使用常規的「表格輸出」步驟加載它,它似乎工作得更好。

此外,您可能會檢查您是否擁有最新版本的Jackcess驅動程序。

編輯:另外,爲了自動化數據流,例如寫入CSV然後加載它,您可以使用作業。如果您只熟悉變換,請查看有關ETL作業的文檔。

+0

我不知道如果pentaho暴露這樣的選項,但jackcess默認「自動刷新」數據到db文件。禁用自動刷新可以大大加快批量操作。 – jtahlborn

+0

我看不出用MS-Access輸出步驟做到這一點。我從來沒有嘗試過使用Jackcess配置一個通用連接,所以我不知道這是否可以完成,但如果可以,並且可以將選項傳遞給連接字符串上的驅動程序,那可能會起作用。 –