在PostgreSQL中查找兩個大表之間的差異

Question

我在Postgres中有兩個類似的表，只有一個32字節的拉丁字段（簡單md5哈希）。 兩個表都有〜30,000,000行。表格差別不大（10-1000行不同）

Postgres是否可以找到這些表格之間的差異，結果應該是我上面描述的10-1000行。

這不是一個真正的任務，我只是想知道PostgreSQL如何處理JOIN類邏輯。

Answer 1

最好的選擇可能是一個EXISTS反半連接：

tbl1是在這個例子中的剩餘行的表：

SELECT * 
FROM tbl1 
WHERE NOT EXISTS (SELECT 1 FROM tbl2 WHERE tbl2.col = tbl1.col); 

如果你不知道哪個表有剩餘行或者都有，您可以重複上面的查詢交換表的名稱後，或：

SELECT * 
FROM tbl1 
FULL OUTER JOIN tbl2 USING (col) 
WHERE tbl2 col IS NULL OR 
     tbl1.col IS NULL; 

在概述在以後的文章基本技術：

• Select rows which are not present in other table

BTW，這將是多更有效地使用uuid列MD5哈希值：

• Convert hex in text representation to decimal number
• Would index lookup be noticeably faster with char vs varchar when all values are 36 chars

Answer 2

根據我的經驗，不在子查詢中需要很長時間。我會這樣做一個包容的加入：

DELETE FROM table1 where ID IN (
SELECT id FROM table1 
LEFT OUTER JOIN table2 on table1.hashfield = table2.hashfield 
WHERE table2.hashfield IS NULL) 

然後做另一種方式相同的另一個表。