一個正確的方法來檢查陣列中的哪些元素不在表

Question

我有一個函數，下載PHP鏈接列表（可以說大約100 000，但不是一次）。只有在沒有下載的情況下，纔想從這些鏈接下載數據，所以我需要檢查哪些不在MySQL數據庫中。數據庫現在包含大約40 000條記錄。什麼是正確的方法來做到這一點？我無法將所有這些鏈接保留在數組中，並與MySQL結果進行比較，因爲它佔用的內存太多。我正在從多線程鏈接（通過叉）下載信息。如果父母需要10MB的內存，30個分支需要300MB等。我試圖單獨查詢每個鏈接的數據庫，但在很短的時間後，我從MySQL服務器斷開連接，當我嘗試再次連接時（我ping連接到檢查它是否仍然存在）並嘗試選擇它關閉連接的數據庫，錯誤爲「MySQL服務器已經消失」。我應該怎麼做？

Answer 1

您可以在文本文件中「保存」鏈接僅用於此檢查，如果鏈接已下載，則可以更快地使用此鏈接進行比較。

看一看這個mytxt

Answer 2

這是不完全的回答你的問題，但它可能是值得的，同時考慮節約找到的結果都但它們存儲在關聯數組以鏈接爲關鍵。這種方式重複將簡單地重寫以前的版本。

這種方法的優點是你不會在檢查時「浪費」任何時間，但缺點可能是，尤其是如果你處理很多列時，你需要太多時間下載冗餘信息。