marklogic 8在我的數據庫中插入大量xml文件後，查詢性能下降

Question

我通過MLCP命令在我的數據庫中插入了200000個xml文檔（大約總大小爲1GB）。現在我想在該數據庫的搜索查詢下運行（數據庫，在admin api中使用默認索引設置）以獲取所有文檔。

let $options := 
<options xmlns="http://marklogic.com/appservices/search"> 
    <search-option>unfiltered</search-option> 
    <term> 
    <term-option>case-insensitive</term-option> 
    </term> 
    <constraint name="Title"> 
     <range collation="http://marklogic.com/collation/" facet="true"> 
     <element ns="http://learning.com" name="title" /> 
     </range> 
    </constraint> 
    <constraint name="Keywords"> 
     <range collation="http://marklogic.com/collation/" facet="true"> 
     <element ns="http://learning.com" name="subjectKeyword" /> 
     </range> 
    </constraint> 
    <constraint name="Subjects"> 
     <range collation="http://marklogic.com/collation/" facet="true"> 
     <element ns="http://learning.com" name="subjectHeading" /> 
     </range> 
    </constraint> 
    <return-results>true</return-results> 
    <return-query>true</return-query> 
</options> 
let $result := search:search("**", $options, 1, 20) 
return $result 

範圍指數： -

 <range-element-index> 
     <scalar-type>string</scalar-type> 
     <namespace-uri>http://learning.com</namespace-uri> 
     <localname>title</localname> 
     <collation>http://marklogic.com/collation/</collation> 
     <range-value-positions>false</range-value-positions> 
     <invalid-values>ignore</invalid-values> 
    </range-element-index> 
     <range-element-index> 
     <scalar-type>string</scalar-type> 
     <namespace-uri>http://learning.com</namespace-uri> 
     <localname>subjectKeyword</localname> 
     <collation>http://marklogic.com/collation/</collation> 
     <range-value-positions>false</range-value-positions> 
     <invalid-values>ignore</invalid-values> 
    </range-element-index> 
      <range-element-index> 
     <scalar-type>string</scalar-type> 
     <namespace-uri>http://learning.com</namespace-uri> 
     <localname>subjectHeading</localname> 
     <collation>http://marklogic.com/collation/</collation> 
     <range-value-positions>false</range-value-positions> 
     <invalid-values>ignore</invalid-values> 
    </range-element-index> 

在每個XML文檔subjectkeyword和標題值就像是

<lmm:subjectKeyword>anatomy, biology, illustration, cross, section, digestive, human, circulatory, body, small, neck, head, ear, torso, veins, teaching, model, deep, descending, heart, brain, muscles, lungs, diaphragm, c</lmm:subjectKeyword><lmm:title>CORTY_EQ07-014.eps</lmm:title> 

但它拍了很多時間，甚至查詢控制檯說太多元素渲染或解析器錯誤：無法解析結果。文件大小太大

Answer 1

分頁確實是關鍵，我很好奇你的方面，我想你的例子中，「Title」在你的200k文檔中幾乎總是唯一的，而lmm ：subjectKeyword元素看起來好像需要一些小的後期處理以使它作爲一個方面更有用 - 它是一串逗號分隔的值，這意味着subjectKeyword幾乎總是獨一無二的（我建議將這些值分別放入一個單獨的值中元素，這將是多莫e作爲一個方面有用）。而且我猜題目主題也是獨一無二的。

當您擁有一組有限的值時，構面通常很有用 - 例如，對於筆記本電腦來說，有限套餐包括製造商，顯示器尺寸和價格範圍內的存儲桶。一旦你進入了數百個價值觀，一個方面的效用就會減少 - 有多少用戶真正想要通過數百或數千個價值進行排序以找到他們想要的東西？而就你而言，我們可能談論的是數以萬計的獨特價值，如果不是200k的獨特價值（特別是對於「標題」）。而且 - 當你擁有許多獨特的價值時，方面解決時間將需要更長的時間。

因此，在探索facet解決時間之前 - 您試圖用這三個方面解決什麼問題？

如果不知道更多，我會將該SubjectKeyword元素後處理成許多元素，每個元素都有一個關鍵字，然後在該元素上添加一個方面。理想情況下，你有幾十個關鍵字，可能有幾百個，解決這個問題應該是非常快的。

Answer 2

首先，不要試圖一次獲取所有文檔。這意味着MarkLogic必須爲每個文檔，進程以及序列化進入磁盤，最後但並非最不重要的是，客戶端也需要接收和顯示。後者可能是這裏的瓶頸。這通常是用戶應用程序一次顯示10或20個搜索結果的原因。換句話說：使用分頁。

我也建議運行未經過濾的更好的性能。

HTH！