2016-11-15 162 views
-1

我有Sphinx SE目前運行在MS SQL服務器上,它在過去幾年工作得很好。使用的表格sphinx最近已經擴展了很多,我們需要利用將表格移動到一個天藍色的表格存儲所提供的速度。使用Sphinx搜索與Azure表存儲

我有什麼選擇允許sphinx從azure索引這張表?我知道它支持ms sql,但是azure表存儲產品是另一種不同的野獸。我也發現Sphinx支持一個xml輸入,但將這些數據全部導出到一個文件中是非常困難的,每5分鐘讀一次。有沒有人使用Azure Table Storage解決了這個問題?

感謝

回答

1

井的xmlpipe(甚至TSVpipe)將連接到錶店的方式。缺少原生的基於SQL的驅動程序。

...但是,一個簡單的實現可能會加載所有數據。這是你可能用MS-SQL做的事情。這只是數據足夠小,以至於它的合理實用性。

加載在MS-SQL的所有數據將similally「貴」

因此,其實你的問題更多的是如何索引「大」數據集。某種增量更新系統,所以你只需要加載'更改。 (即使用針對存儲表,那種隨後的事實變得實施只是一個微不足道的細節)

一個概念可能會看到獅身人面像不少是所謂的「主」 +「三角洲」 http://www.sphinxconsultant.com/sphinx-search-delta-indexing/

這對XMLpipe也很有效。所以可以和Asure一起工作。你只需要想出幾個腳本,一個下載大量的數據(最初調試'主',它不經常使用)

...然後第二個腳本只獲得新的記錄。運行某種查詢

你只需要somesort腳本從天青流和輸出itehr XML或TSV https://www.google.com/search?q=Azure+Table+Storage+stream