掃描和獲取所有DNS條目的方法

Question

我想進行一次實驗，我需要Internet上所有DNS條目的完整數據庫。

掃描互聯網並獲取所有DNS條目是否實用？ 什麼是限制：存儲，時間或網絡帶寬？ 任何好的方法開始？ （我總是可以蠻力地掃描IP空間並進行反向DNS查找，但我想這不是有效的方式）

Answer 1

下載類似RIPE或ARIN的數據庫不會爲您提供所需的反向DNS條目。事實上，你只會得到自治系統和解析這些範圍的DNS服務器。沒有其他的。檢查這一個：ftp://ftp.ripe.net/ripe/dbase/ripe.db.gz

反向DNS查詢將讓你只有一小部分的所有DNS條目。事實上，沒有人可以擁有它們，因爲大多數域名不接受AXFR的請求，在某些國家這可能被認爲是非法的。要訪問.com/.net/.org域名的完整列表，您可能是ICANN或ICANN經銷商，但您永遠無法獲得其他未公開的頂級域名（若干國家/地區）。

然後，最好的辦法是暴力破解所有的反向ip解析+成爲像谷歌這樣的互聯網巨頭來建立你自己的公共DNS +嘗試對你所能夠訪問的每個域名執行AXFR請求檢測。

混合所有這些選項是獲得所有DNS條目的重要部分的唯一方式，但絕不是100％，也可能不超過5到10％。忘記bruteforcing whois服務器以獲取域名列表。它們的條款和條件被禁止。

我們現在正在強化反向ipv4解決方案，因爲它是唯一合法的方式，而不是Google。我們在2周前開始。

經過兩週的調教，我們完成了20％的互聯網。我們已經開發了一個python腳本，它可以從幾個不同的節點並行啓動數千個線程掃描/ 24個範圍。

它比nmap -sL快，但它不如nmap可靠，所以我們需要一個「第二遍」來填補我們得到的空白（大約85％的IP在第一個問題上得到解決嘗試）。必須執行定期重新掃描以獲得完整一致的數據庫。

現在我們有幾臺服務器在每個節點上以2mbps的DNS查詢速度運行（每個節點300到4000次查詢/秒，主要取決於我們的服務器和遠程DNS之間的RTT）。

我們預計在30天左右完成所有IPV4條目的第一階段。

對於每個「A級」範圍（即111.0.0.0/8），存儲預先結果的文本文件的平均3M條目數。這些文件只是「IP \ tname \ n」，我們只存儲已解析的IP。

我們需要在每臺服務器上配置一個DNS，因爲我們正在影響我們提供商的DNS服務，並且它阻止了我們。事實上，我們在不同的DNS服務器上執行了一些基準測試。忘記綁定，這是沉重的，你幾乎不會超過300分辨率/秒。

一旦我們將完成掃描，我們會發表的文章，共享數據庫:)

我在Twitter：@kaperuzito我們已經得到了

一個結論是，人們可能會三思而後行瞭解他們在DNS PTR條目中輸入的名稱。你不能命名一個IP「payroll」，「ldap」，「intranet」，「測試」，「sql」，「VPN」等......並且有數以百萬計的那些:(