如何以自動方式獲取鏈接上的反向鏈接信息？

我想建立一個迷你Ahrefs，在那裏我可以得到一些基本的東西（如域名權威，網頁排名和反向鏈接）到我想要的任何鏈接。如何以自動方式獲取鏈接上的反向鏈接信息？

理想情況下，我認爲，最簡單的方法就是ping Google搜索API並獲取該信息。但是，似乎Google Web Search API已被棄用，並且Custom Search似乎專注於允許我在1個站點或一小部分站點內進行搜索。再加上每天100個查詢的速率限制，有點可笑。

對於我來說，獲得訪問我想要的數據的另一種方式是什麼？

來源

2016-08-13 marcamillion

Pagerank不再面向公衆，Google現在關閉了API。

域名權威不是Google公制 - 像Moz.com和Ahrefs.com這樣的服務構建他們自己的指標來嘗試「衡量」網站。你只能通過他們的API訪問。

您可以嘗試從Search Console獲取的反向鏈接數量。這隻能通過他們的「下載最新鏈接」csvs訪問。除了查詢您的搜索分析外，沒有API訪問權限。

來源

2016-08-17 10:38:34

有趣....所以如何Ahrefs建立他們的索引？像Google一樣手動抓取網絡？ – marcamillion

Moz，Ahrefs和Majestic只是少數幾家使用類似Google的行爲進行廣泛網絡爬蟲的公司。他們數據庫的大小和質量與谷歌自己的數據庫相比有所不同，並且每個人都試圖儘可能接近它（提示：這不僅僅是規模，谷歌的規模也比你想象的要小）。他們建立了大量的反向鏈接索引來執行這些估計。沒有建立龐大的數據庫的方法就沒有這種方法。 –

如何以自動方式獲取鏈接上的反向鏈接信息？

回答

相關問題