優化查詢 - 使用字段或使用其他表格

Question

我有一個查詢需要很長時間，我想優化它。我正在尋找最有效的方式來做到這一點。

我正在使用PostgreSQL數據庫的Hibernate/JPA，但任何解決方案應該是一個通用的JPA之一。

術語

• 用戶：在系統中的用戶。
• 朋友：用戶的一個朋友。用戶將有N個朋友。
• 會議：使用系統的會話。可以打開或關閉。
• 上下文：會話的上下文。用戶可能在任何給定時間內每個上下文有一個打開的會話，並且每個上下文可能有許多過去的關閉會話。

查詢

我需要執行一個查詢，給定一個用戶名，使我有以下幾點：

• 獲取該用戶的所有朋友
• 對於每個朋友：
  • 如果朋友有任何打開的會話，請獲取所有打開的會話（針對所有上下文）
  • 否則，請將朋友的最新會話排除在所有上下文之外。

注意，友誼都是存儲在不同的數據庫，所以我不能將此主題融入在任何情況下，一個大的查詢。

例

用戶A具有三個朋友：B，C，d。有兩個上下文，1和2。朋友具有以下數據：

（下面的格式是會話ID - 用戶，語境）

• 1 - B，1：打開會話
• 2 - B，2：開始關閉會話年02月 - 27
• 3 - B，2：上開始閉會話FEB-26
• 4 - C，1：02月27
• 5開始關閉會話 - C，1：關閉會話2月26日開始
• 6 - C，2：02月 - 26
• 7開始關閉會話 - C，2：關閉會話年02月 - 25
• 8開始 - d，1：打開會話
• 9 - d， 2：打開會話

查詢應得到我： B：第一節（所有打開的會話） C：第4節（最新的非公開會議） d：8,9會話（所有打開的會話）

當前狀態

我查詢的工作分三個步驟：

1. 獲取用戶
2. 的各界朋友對每個朋友：
   1. 獲取所有打開的會話的朋友
   2. 如果有任何公開會議，返回所有公開會話
   3. 獲取最新的會話爲朋友，返回該會話

顯然這是很多的疑問。 對於初學者，我將採取上述步驟2並將其轉換爲單個查詢。我的擔心與第二個查詢有關。問題是 - 如何使其更加優化。因此，該問題可以改述：

「給定一組N個朋友ID，獲取所有這些朋友的所有開放會話或最新會話。」

建議的解決方案

有我們想出了兩種基本的解決方案，我們正在考慮這將是更好的。

表解決方案表示將保留一個將在用戶，上下文和最新會話之間關聯的新表。該解決方案的含義是：

• 創建一個新的實體&表「最新會議」
• 表將具有這些列：
  • 用戶
  • 語境
  • 最新會話ID
• 該表將由會話實體在post persist上進行更新，以便任何新的p ersisted會話將自動更新此表。
• 新查詢將從此表中獲取用戶所有朋友的所有記錄，並對其進行處理以創建最終結果。

列解決方案表示在會話表上保留「最新」標誌列。該解決方案的含義是：

• 創建最新的（一個布爾值）一個新的領域
• 列將通過郵寄方式設置持久會話實體，使昔日的「最新」會議將不再是最新的，新的會議將成爲最新的會議。
• 新查詢將從原始會話表中獲取用戶所有朋友的所有最新記錄（通過將新列納入語句的條件中）並對其進行處理以創建最終結果。

這些都有優點和缺點，我們似乎還沒有贏家。顯然，可能還有其他更好的解決方案我們沒有考慮過。我希望看到的是以上哪個更好，爲什麼，或者是你自己的更好的方法。

Answer 1

您的兩個解決方案之間的差異應該是微乎其微的。根據活動情況，表格解決方案可能更清潔

然而，請注意'你做錯了'（根據理論）。

RDBMS應用程序設計原則明確指出，您不應該試圖指定應該如何執行查詢，而是指定您想要的數據。數據庫將找到解決方案的最佳路徑（RDBMS距離數據最近，取決於您的架構可能會節省網絡往返次數，存儲往返等等;可擴展性可能會嚴重受損，您可能不會意識到這一點您不會進行體面的壓力測試;此外RDBMS知道索引和內部統計信息，這些信息可確定掃描或搜索是否更有效，並知道如何以最佳方式執行聯接）。

在實踐中，嘗試提出爲什麼不同數據庫友誼的問題？ （它是真的不同的數據庫或不同的架構在同一個數據庫？）。

此外，如果你真的想要去的方式，你這樣做（禁用RDBMS尋找最優的執行計劃），那麼最重要的因素是：

• 指數（會影響訂單的性能幅度
• 使用模式）（指標將提高SELECT查詢的性能，但過多的索引會減慢更新）
• 應用/客戶層高速緩存（可以影響量級）

性能和可擴展性

編輯： 因此，考慮到「給定一組N個朋友ID，獲取所有這些朋友的所有公開會議或最新會議。」這裏是一個應該引入新的結構

會話（會話ID，用戶，上下文，開始，結束）

SELECT * 
FROM Sessions s 
WHERE s.End IS NULL 
     AND s.User IN (:friendsList) 
UNION ALL 
SELECT * 
FROM Sessions s 
WHERE s.User NOT IN (SELECT User 
        FROM Sessions s2 
        WHERE s2.User IN (:friendsList) 
          AND s2.End IS NULL) 
     AND s.User IN (:friendsList)   
     AND s.End IN (SELECT MAX(End) 
        FROM Sessions s2 
        WHERE s2.User = s.User) 

有更多的方法來寫上面，試圖幫助優化前進行測試的查詢，特別是如果您的數據庫支持CTE，則上述內容可以更有效地重寫。

備註： :friendsList - 作爲好友的用戶列表。
此外，我假設開放會話的開放會話的值爲End。您可能已經選擇了其他方法（也許您有一個字段表示它;或者有兩個表，一個用於打開會話，一個用於關閉）

上述查詢將受益於某些索引（原則是先嚐試優化索引，然後進行重組;我會嘗試的第一個索引是User, End上的複合索引）以及相對較少的朋友（假設它以字符串形式傳遞的事實假設），這應該表現得很好。

Answer 2

爲什麼不緩存對象？你不需要打數據庫。

Answer 3

您的主要瓶頸似乎是，您需要的信息分佈在兩個數據庫的事實。因此，您可以獲取朋友列表並通過它們進行傳播。

我建議您嘗試刪除迭代，將其減少爲單個查詢。

我會實現這一目標的方式是建立逗號分隔的用戶標識字符串，並將該字符串傳遞給第二個數據庫。然後，第二個數據庫中的sql可以（例如使用函數）將字符串intol轉換爲單個ID字段表，然後加入。

它對我來說非常不雅，但這是我一直都在做的事情。

我已經使用的唯一實用的替代方法是構建一個將ID插入到表中的單個查詢，然後加入到該表中。無論是臨時表還是具有SessionID字段的永久表，都允許多個會話同時使用它。

無論使用什麼方法，對第2步使用單個查詢，使用基於集合的方法而不是迭代，應該會產生顯着的好處。