我正在使用一個節點webshot庫來拍攝一個網站的圖像,說在http://x.y.z.com/blah。如果網站存在,我會得到一個很好的圖像。如果網站不存在,我可能會或可能不會收到錯誤。如果我遇到錯誤情況,我可以使用默認圖像。但是,我發現某些域名正被重定向到臭名昭着的域名銷售網站或「搜索」域名站點。例如,http://notawebsite.com.org被重定向到http://www.com.org/?notfound=notawebsite.com.org。我也檢查了DNS是否可以提前使網站失效,但它解決了問題(到www.com.org地址)。那麼有什麼我可以做的,以確定如果一個網站被重定向到這些域名搜索/銷售網站之一?當使用http/https時,是否有一種標準的方式來識別「域名未擁有」網站?
0
A
回答
1
是否有使用HTTP/HTTPS時確定「域名不屬於」網站的一個標準呢?
不,不是真的。在您引用的示例中,http://notawebsite.com.org
的服務器將返回301重定向。在我看來,你只是決定,如果你得到一個重定向到一個不同的域(而不只是一個重定向到同一個域上的不同頁面,而不僅僅是在同一個域上從http到https的重定向),那麼,您嘗試訪問的URL顯然不是主動的。
有沒有標準的方法來知道您重定向到的網站是域名賣家還是實際活動域名。您可以手動調查一系列您重定向的網站,並教您的代碼如何識別一些常見的域名銷售商這樣做,但這可能是一個無休止的任務,可能需要定期人工干預來區分真實網站和域名銷售網站。最終,您可能會建立一個域名賣家域名黑名單,並拒絕將任何重定向到您黑名單上的域名的網址編入目錄。但是,這可能需要一些人工干預來建立和維護黑名單。
您也無法確定您獲得重定向的給定網域上的所有網址都會執行類似的重定向,但您可以肯定地說,您試圖從中獲取快照的網址並非直接活躍於自己。如果用戶在瀏覽器中訪問該域,他們將不會在瀏覽器中看到該域的任何內容,因爲重定向會更改網址。
那麼,有什麼我可以做的,以確定如果一個網站被重定向到這些域名搜索/銷售網站之一?
構建您自己的經銷商域黑名單,這些黑名單顯示在像這樣的重定向中。然後,無論您何時嘗試請求獲取網頁截圖的頁面URL,並且您從請求中獲取3xx狀態碼,都會檢查重定向域以查看它是否在您的黑名單中。
相關問題
- 1. iPhone:是否有自動識別未使用資源的方式?
- 2. 有沒有一種標準的方式爲網站創建「預覽」模式?
- 3. 是否有一種「標準」方式來開發這樣的應用程序?
- 4. ELMAH - 是否有一種方法來識別錯誤日誌未處理或userHandled?
- 5. 有沒有一種模式來定義多語言網站的子域名?
- 6. 是否有一種標準方法來乘以分數?
- 7. 有沒有一種方法來識別platform.resume事件是否被相機調用?
- 8. 流程圖網站是否有標準?
- 9. 是否有行業標準的方式來表明一個網站有流體或響應式設計?
- 10. 是否有一種「標準方式」來解析:Java中的空白URL?
- 11. 在安裝Perl腳本時,是否有一種標準方式來設置站點特定值?
- 12. 是否有標準化的網站地圖格式?
- 13. 當使用@KafkaListener註解時,是否有標準方法來重置偏移量?
- 14. 有沒有一種標準的方法來檢測方向性?
- 15. 是否有像SO網站使用的標記有任何標準?
- 16. ISO標準命名是否有標準?
- 17. 如何在同一網站上擁有2個域名?
- 18. 哪一種在網站上組織文件的標準方式?
- 19. 網站看起來一種方式加載另一種方式
- 20. 有沒有圖片識別api來訪問一個網站?
- 21. 有沒有一種方法可以找到網站列表的規範域名?
- 22. 有沒有標準的方式鏈接到外部網站?
- 23. 一種確定網站是否有效的方法
- 24. 是否有一種「標準」方法來實現.NET的軟件激活?
- 25. 在遺傳算法中是否有一種標準的方法來替代DEAD?
- 26. UML是否有一個通用的標準方式?
- 27. 是否有標準的方式來表示任何API?
- 28. 如何檢查一個域名列表是否有網站?
- 29. 當標識符中沒有用戶名時,如何識別OpenID用戶名?
- 30. 有沒有一種標準的方式來存儲python中的XY數據?
謝謝,你至少證實了我的想法。 – Cjolly
@Cjolly - 如果這回答了您的問題,那麼您可以通過點擊答案左側的綠色複選標記來向社區表明。這也將爲您在堆棧溢出時遵循適當的過程贏得一些聲望點。 – jfriend00