2017-09-06 75 views
0

我使用表輸入步驟從oracle數據庫中提取數據,並通過一些串聯加載到Apache Kafka生產者(輸出步驟)。提取200萬行花費近6分鐘(包含表50列)。通過查看它的日誌,我發現表輸入步驟需要更長時間。如何提高表格輸入步驟中的性能?改善pentaho表輸入步驟性能

enter image description here

回答

0

此外,日誌可能會產生誤導:如果ConcatField或卡夫卡領域是緩慢的,然後輸入表將通過自身緩慢的不是,而是因爲它是不能夠將數據發送到下一個腳步。

首先檢查可疑的輸入表是否有罪:刪除ConcatFields和Kafka步驟並用虛擬步替換它們。如果它仍然需要6分鐘,那麼這是純粹的Oracle DBA優化。

+0

發現問題是與卡夫卡生產者的步驟,使我的表輸入緩慢。你能提出任何想法來改善卡夫卡生產者步驟績效嗎? – Anjana

+0

對不起,我對Kafka瞭解不夠(這是第三方插件的方式)。我的建議是將問題提交給SOF/apache-kakfa,並提及您在卡夫卡製作人中使用的參數。您可能會被重定向到Kafka配置。 – AlainD