MarkLogic - S3進口

Question

我們能否從導入Amazon S3的數據到MarkLogic使用

1. 的JavaScript/XQuery的API
2. MarkLogic內容泵
3. 任何其他方式？

請分享參考，如果有的話。

Answer 1

我不是AWS專家，但是如果您知道S3上的數據位置，則可以使用xdmp:document-get()（帶有http位置的$：前綴）來檢索文檔。您也可以使用xdmp:http-get()，也許可以查詢文檔的位置。一旦該命令返回，您可以使用通常的xdmp：document-insert。

這種方法應該爲少數的文件被罰款。如果您想要導入一個大集合，則必須考慮事務超時的可能性。

對於更大的數據集，你可能需要從外部管理的過程。這裏有幾個選項：從S3

• 數據導出到本地文件系統，然後使用MLCP將其發送到MarkLogic
• 插入已在S3要導入的資源列表的文件;使用xdmp導入它們的生成任務：document-get（）
• 使用Java代碼從S3中提取一個文檔（或一批文檔），然後使用Java Client API將該數據插入到MarkLogic
• 一次MarkLogic 9出來，使用Data Movement SDK，其目的是使項目這樣更容易（截至記者發稿時，DMSDK仍處於發展）從AWS S3

Answer 2

負載的test.xml文件存儲區與使用/ documents服務的REST API實例關聯的數據庫中：

curl https://s3.amazonaws.com/yourbucket/test.xml | curl -v --digest --user user:password -H "Content-Type: application/xml" -X PUT -d @- "localhost:8052/v1/documents?uri=/docs/test.xml" 

• 與AWS S3存儲的有效URL取代https://s3.amazonaws.com/yourbucket/test.xml
• 與有效值替換user:password
• 與MarkLogic應用服務器的URL代替localhost:8052

Answer 3

最近我面臨着同樣的問題，我用以下用於複製數據的MLCP代碼，並且工作正常。

mlcp export -host {host} -port {port} -username {username} -password {password} -output_file_path {S3 path} -collection_filter {collection name to be moved} 

Answer 4

如果您在管理工具中配置您的AWS credententials，您可以使用以下格式的URL「S3：//桶/鍵」，進入S3進行讀取或寫入。

見EC2 guide 見Stackoverflow similar question