如何檢查是否在數據庫中存在的記錄 - 最快的方法

Question

我在那裏我存儲唯一的文本字符串，然後我做選擇

String checkIfAlreadyScanned = "SELECT id FROM \"STRINGS_DB\" where STR ='" + mystring + "'"; 

然後檢查是否在數據庫中存在該字符串表我是否值存在。我的數據庫有大約5mil的記錄;我可以改進我的方法嗎？

也許有一種方式創建一個新的屬性（hashedSTR）爲例，並將字符串轉換爲一些獨特的數字值，然後得到這些數字，而不是字符串？這會更快嗎？ （？將是在所有的工作）

Answer 1

保證了最快的處理，確保：

• 您正在搜索的字段建立索引（您講述一個「獨一無二」的字符串，所以我假設它已經是這樣了。因爲這個原因，「限1」是沒有必要的。否則，它應該被添加）
• 您在使用Command對象的ExecuteScalar()方法

Answer 2

String checkIfAlreadyScanned = "SELECT 1 FROM \"STRINGS_DB\" where STR ='" + mystring + "'"; 

如果您的結果集包含行，那麼你就會有記錄

Answer 3

限制結果設置爲1：

String checkIfAlreadyScanned = @" 
    SELECT id 
    FROM ""STRINGS_DB"" 
    where STR ='" + mystring + @"' 
    limit 1"; 

這一個指數該專欄以及針對ExecuteScalar()的@Laurent建議將產生最佳結果。

此外，如果mystring有任何機會已被用戶觸及然後參數化查詢，以避免SQL注入。

一個清潔的版本：

String checkIfAlreadyScanned = @" 
    SELECT id 
    FROM ""STRINGS_DB"" 
    where STR = '@mystring' 
    limit 1 
    ".replace("@mystring", mystring); 

Answer 4

[編輯] 限制結果返回到返回它遇到的第一個記錄符合標準： 使用Sql Server：選擇TOP 1 ...; 對於mysql/postgres：select ... LIMIT 1;

如果可以有多個，那麼在您的select語句中添加「TOP 1」可能會返回得更快。

String checkIfAlreadyScanned = "SELECT TOP 1 id FROM \"STRINGS_DB\" where STR ='" + mystring + "'"; 

這樣，它只需要找到字符串的第一個實例。

但是，如果您沒有倍數，那麼使用這種方法不會看到太多好處。

就像其他人所說的那樣，在它上面加上索引可能會有所幫助。

Answer 5

假設你實際上並不需要的id列，我認爲這使編譯器有機會最優化：

select 1 
where exists(
    select 1 
    from STRINGS_DB 
    where STR = 'MyString' 
) 

Answer 6

多久這些文本字符串？如果它們很長，可以通過存儲字符串的散列（以及原始字符串）來提高性能。

CREATE TABLE strings_db (
    id  PRIMARY KEY INT, 
    text  TEXT, 
    hash  TEXT 
); 

您的哈希列可以存儲MD5總和，CRC32s或您選擇的任何其他哈希算法。它應該被索引。

然後修改您的查詢是這樣的：

SELECT id FROM strings_db WHERE hash=calculate_hash(?) 

如果你的文本字段的平均大小是比你的哈希的尺寸足夠大，這樣做在較短場搜索將磁盤I幫助/ O.這也意味着在插入和選擇時計算散列以及用於存儲散列的額外磁盤空間會產生額外的CPU開銷。所以所有這些因素都必須考慮在內。

P.S.始終使用預準備語句來避免SQL注入攻擊！

Answer 7

雖然這裏所有的答案都有其優點，但我想提一下另一個方面。

以這種方式構建您的查詢並傳遞字符串不會幫助數據庫引擎優化您的查詢。相反，您應該編寫一個存儲過程，將其稱爲傳遞一個參數，並讓數據庫引擎構建一個查詢計劃並重用您的命令。

當然領域應該被索引

Answer 8

其實就是就是這樣的東西你喜歡的。但它有一些限制。 PostgreSQL支持一個hash索引類型：

CREATE INDEX strings_hash_idx ON "STRINGS_DB" USING hash (str); 

作品進行簡單的等式搜索與=，就像你擁有了它。我quote the manual的限制：

散列索引操作目前未WAL-記錄，所以哈希索引 可能需要一個數據庫崩潰後要與REINDEX重建。它們是 也不通過流式傳輸或基於文件的複製進行復制。對於 這些原因，目前不推薦使用散列索引。

---

一個真正的生命表，433K行，59 MB總簡單的測試：

SELECT * FROM tbl WHERE email = 'some.user@some.domain.com' 

-- No index, sequnence scan: Total runtime: 188 ms 
-- B-tree index (default): Total runtime: 0.046 ms 
-- Hash index:    Total runtime: 0.032 ms 

這不是巨大的，但一些。與我測試中的電子郵件地址相比，差異將更大，更長的字符串。索引創建是1秒或2秒。與任一索引。

Answer 9

測試是沒有意義的，只是包括在where子句中的「測試」：

INSERT INTO silly_table(the_text) 
'literal_text' 
WHERE NOT EXISTS (
    SELECT * 
    FROM silly_table 
    WHERE the_text = 'literal_text' 
    ); 

現在，你讓測試僅在需要時：在語句的結束行將存在。有沒有這樣的事情嘗試。

對於那些不瞭解測試是沒有意義的：測試會意義，如果試驗後的情況就不會被允許在測試後改變。這將需要測試&鎖定方案。或者更糟的是：在交易中進行測試。

更新：版本作品（基本一致）：

DROP TABLE exitsnot CASCADE; 
CREATE TABLE exitsnot 
     (id SERIAL NOT NULL PRIMARY KEY 
     , val INTEGER -- REFERENCES something 
     , str varchar -- REFERENCES something 
     ); 

INSERT INTO exitsnot (val) 
SELECT 42 
WHERE NOT EXISTS (
     SELECT * FROM exitsnot 
     WHERE val = 42 
     ); 
INSERT INTO exitsnot (str) 
SELECT 'silly text' 
WHERE NOT EXISTS (
     SELECT * FROM exitsnot 
     WHERE str = 'silly text' 
     ); 
SELECT version(); 

輸出：

DROP TABLE 
NOTICE: CREATE TABLE will create implicit sequence "exitsnot_id_seq" for serial column "exitsnot.id" 
NOTICE: CREATE TABLE/PRIMARY KEY will create implicit index "exitsnot_pkey" for table "exitsnot" 
CREATE TABLE 
INSERT 0 1 
INSERT 0 1 
              version            
---------------------------------------------------------------------------------------------- 
PostgreSQL 9.1.2 on i686-pc-linux-gnu, compiled by gcc (Ubuntu 4.4.3-4ubuntu5) 4.4.3, 32-bit 
(1 row)