2017-03-10 40 views
0

我正在使用一個節點webshot庫來拍攝一個網站的圖像,說在http://x.y.z.com/blah。如果網站存在,我會得到一個很好的圖像。如果網站不存在,我可能會或可能不會收到錯誤。如果我遇到錯誤情況,我可以使用默認圖像。但是,我發現某些域名正被重定向到臭名昭着的域名銷售網站或「搜索」域名站點。例如,http://notawebsite.com.org被重定向到http://www.com.org/?notfound=notawebsite.com.org。我也檢查了DNS是否可以提前使網站失效,但它解決了問題(到www.com.org地址)。那麼有什麼我可以做的,以確定如果一個網站被重定向到這些域名搜索/銷售網站之一?當使用http/https時,是否有一種標準的方式來識別「域名未擁有」網站?

回答

1

是否有使用HTTP/HTTPS時確定「域名不屬於」網站的一個標準呢?

不,不是真的。在您引用的示例中,http://notawebsite.com.org的服務器將返回301重定向。在我看來,你只是決定,如果你得到一個重定向到一個不同的域(而不只是一個重定向到同一個域上的不同頁面,而不僅僅是在同一個域上從http到https的重定向),那麼,您嘗試訪問的URL顯然不是主動的。

有沒有標準的方法來知道您重定向到的網站是域名賣家還是實際活動域名。您可以手動調查一系列您重定向的網站,並教您的代碼如何識別一些常見的域名銷售商這樣做,但這可能是一個無休止的任務,可能需要定期人工干預來區分真實網站和域名銷售網站。最終,您可能會建立一個域名賣家域名黑名單,並拒絕將任何重定向到您黑名單上的域名的網址編入目錄。但是,這可能需要一些人工干預來建立和維護黑名單。

您也無法確定您獲得重定向的給定網域上的所有網址都會執行類似的重定向,但您可以肯定地說,您試圖從中獲取快照的網址並非直接活躍於自己。如果用戶在瀏覽器中訪問該域,他們將不會在瀏覽器中看到該域的任何內容,因爲重定向會更改網址。

那麼,有什麼我可以做的,以確定如果一個網站被重定向到這些域名搜索/銷售網站之一?

構建您自己的經銷商域黑名單,這些黑名單顯示在像這樣的重定向中。然後,無論您何時嘗試請求獲取網頁截圖的頁面URL,並且您從請求中獲取3xx狀態碼,都會檢查重定向域以查看它是否在您的黑名單中。

+0

謝謝,你至少證實了我的想法。 – Cjolly

+0

@Cjolly - 如果這回答了您的問題,那麼您可以通過點擊答案左側的綠色複選標記來向社區表明。這也將爲您在堆棧溢出時遵循適當的過程贏得一些聲望點。 – jfriend00

相關問題