Graphdb的loadrdf工具加載本體和數據速度很慢

我使用GraphDB loadrdf工具加載本體和相當大的數據。我將pool.buffer.size = 800000和jvm -Xmx設置爲24g。我嘗試了並行和串行模式。一旦回購總額報告超過10K，他們都放慢腳步。它最終會減慢到1或2個報表/秒。有誰知道這是否是loadrdf的正常行爲，還是有辦法優化性能？Graphdb的loadrdf工具加載本體和數據速度很慢

編輯我增加了元組索引內存。請參閱我的回購ttl配置的一部分：

owlim:entity-index-size "45333" ; 
owlim:cache-memory "24g" ; 
owlim:tuple-index-memory "20g" ; 
owlim:enable-context-index "false" ; 
owlim:enablePredicateList "false" ; 
owlim:predicate-memory "0" ; 
owlim:fts-memory "0" ; 
owlim:ftsIndexPolicy "never" ; 
owlim:ftsLiteralsOnly "true" ; 
owlim:in-memory-literal-properties "false" ; 
owlim:transaction-mode "safe" ; 
owlim:transaction-isolation "true" ; 
owlim:disable-sameAs "true";

但不知何故該過程仍然變慢。它以「全球平均速率：1,402 st/s」開頭。但「回購報表中：61,831」之後放緩至「全球平均利率：20 st/s」。我給我的jvm：-Xms24g -Xmx36g

來源

2016-08-18 cwen

你可以請你的存儲庫配置嗎？在它裏面，有一個參數元組索引內存 - 這將決定我們被允許保留在內存中的變化量（光盤頁面）。這個值越大，我們要做的衝量就越少。

檢查是否在您的設置中將其設置爲20G等值，然後重試該過程。

來源

2016-08-19 07:57:54 nikolavp

嗨@nikolavp，太感謝你了！下面請參閱ttl repo配置（我已經增加了元組索引 - 內存）。但不知怎的，這個過程仍然在減慢。它以「全球平均速率：1,402 st/s」開頭。但「回購報表中：61,831」之後放緩至「全球平均利率：20 st/s」。我給我的jvm：-Xms24g -Xmx36g。 – cwen

我的回購的一部分：'owlim：entity-index-size「45333」; owlim：cache-memory「24g」; owlim：元組索引 - 內存「20g」; owlim：enable-context-index「false」; owlim：enablePredicateList「false」; owlim：謂詞內存「0」; owlim：fts-memory「0」; owlim：ftsIndexPolicy「從不」; owlim：ftsLiteralsOnly「true」; owlim：in-memory-literal-properties「false」; owlim：交易模式「安全」; owlim：事務隔離「true」; owlim：disable-sameAs「true」;' – cwen

我從Windows任務管理器注意到的一件事 - CPU變得非常高，幾乎100％忙碌。但內存使用量低至11GB左右，儘管我將jvm設置爲36g，緩存內存設置爲24g。你能告訴任何阻止內存使用的東西嗎？ – cwen

我看了你倉庫配置ttl。有這個參數：entity-index-size = 45333其值需要增加，例如，將其設置爲1億（entity-index-size = 100000000）。 GraphDB 7中該參數的默認值爲10M，但由於您已經明確設置了它，所以它會被覆蓋。

你可以閱讀更多有關參數here

來源

2016-08-30 08:57:29 Venelin

Hi @ Venelin，非常感謝。我試過 - 更改了參數owlim：entity-index-size「100000000」。串行和並行模式的速度仍然很慢。在「回購聲明：87,931」之後，它降至「全球平均費率：15 st/s」。內存使用量保持在12〜13GB左右，非常奇怪。我可以調整任何其他參數？ – cwen

Graphdb的loadrdf工具加載本體和數據速度很慢

回答

相關問題