Pentaho PDI（勺子）：MySQL表格輸出非常慢（〜2000行/秒）

與輸入（100.000-200.000行/秒）相比，我的表格輸出步驟非常緩慢（〜2.000行/秒）。 MySQL服務器不是問題，使用本地MySQL，例如與「執行SQL腳本」步驟，我得到的東西在10萬/秒。我已經嘗試（沒有成功）通過延伸SQL選項的常見解決方案：Pentaho PDI（勺子）：MySQL表格輸出非常慢（〜2000行/秒）

useServerPrepStmts=false 
rewriteBatchedStatements=true 
useCompression=true

我也各不相同的提交大小參數（100，1.000，10.000）和Use batch updates for inserts被啓用，還沒有成功。我還可以做些什麼？我有〜10,000.000行的表和Pentaho在一個非常有力的機器上運行，所以這是不可接受的。

來源

2016-07-29 Juergen

您是否在WHERE子句中使用了任何過濾器？ – shzyincu

爲此，我認爲理想的一步是在Bulk loading部分列出的MySQL Bulk Loader步驟。連同那個用

useServerPrepStmts=false 
rewriteBatchedStatements=true 
useCompression=true

在連接中的JDBC選項。這些使用壓縮將壓縮客戶端和MySQL服務器之間的流量其中兩個將形成INSERT INTO tbl (a,b) VALUES (1,'x'),(2,'y'),(3,'z');而不使用單獨的插入語句。

來源

2016-07-29 18:41:00

不幸的是，我的開發機器是Windows Server 2012 R2，所以我得到[這個錯誤]（http://jira.pentaho.com/browse/PDI-2756）。 – Juergen

遵循以下步驟：

增加RAM大小PDI a.k.a勺。
使用命令行實用程序（如廚房或平底鍋）運行您的作業或轉換。

那麼現在比較速度。

乾杯！

來源

2017-01-04 11:00:04 MAX

Pentaho PDI（勺子）：MySQL表格輸出非常慢（〜2000行/秒）

回答

相關問題