跨多個物理節點劃分表

Question

因此，我目前正在開發一個項目，涉及收集和存儲一些巨大的數據集（就我以前的工作而言）。數據本質上包含元信息，然後是實際值（其中值隨時間呈現趨勢）。

元信息本身是比較大的，但沒什麼大的，我可能會說它將在未來幾年增長10-50萬行的大小。這對我來說似乎是可管理的，而且一個強大的SQL Server應該足以提供對這些數據的快速訪問（如果數據索引良好，並且數據非常容易索引，並且界限非常清晰）...

但是，趨勢數據是完全不同的故事。在一年內，我們每天都很容易拉動4000萬到5000萬行，並且在未來3年或4年內每年可以實際翻倍。

這個趨勢數據還有非常明確的邊界，可以將其分割成更多可管理的大小塊。我希望能夠建立某種分區機制，將這些數據分佈到多個物理數據庫節點上。數據基本上都包含在一張表中。我研究了SQL Server表分區，但找不到一種方法將數據分散到多個服務器上。

我的問題是是否有一些「相對簡單」的方式實現多個物理節點的表分區。我也花了一些時間來看看Sql Server PDW，但它很難在網上找到信息，我不想追求，直到我確定沒有簡單的方法來實現這種使用構建的功能的解決方案到SQL Server中。

任何意見將不勝感激...

Answer 1

我沒有這方面的專家，但我相信你可以尋找的是數據庫的「分片」。對分片here的問題和好處有一個有趣的分析。

最終，「分片」設計的實施可能會非常昂貴，但是如果您的數據在單個數據庫中無法管理，那麼這可能是一個好的解決方案。

還有它包括的軟件列表，支持碎片（如Hibernate的ORM）