我正在開發一個應用程序在rails中需要檢查輸入的網站是否有搜索引擎友好的URL生成或不。我想到的解決方案是使用nokogiri解析該網站的HTML,並查看鏈接標記以查找URL,並查看它們是否對搜索引擎友好。是否有任何其他方法可以完成?任何幫助都將非常棒。Ruby代碼來檢查一個網站是否有搜索引擎友好的URL
回答
您這裏有兩個問題:
你怎麼正式(編程)定義了一個 「搜索引擎frienldy URL是」 什麼。我假設你已經有一些方法可以做到這一點。因此,葉...
如何檢查網站上的所有鏈接。
所以對於(2)我想看看像Anemone這將很容易讓你抓取完整的網站:
海葵是一個Ruby庫,使得它快速,無痛寫蜘蛛網站的程序。它提供了一個簡單的DSL,用於在站點的每個頁面上執行操作,跳過某些URL並計算站點上給定頁面的最短路徑。
多線程設計使得銀蓮花快。該API使其變得簡單。 Ruby的表現力使它變得強大。
對於簡單的爬行銀蓮花甚至會給你一個頁面上的所有鏈接的數組,所以你不一定需要Nokogiri。對於更復雜的東西,也許你想結合銀蓮花與Mechanize和Nokogiri。這取決於你的要求。
感謝分享有關海葵寶石的信息,這對我來說非常有用。我也沒有真正想出解決(1)問題的方法,所以如果你有有關於此的幫助,請分享一下。 –
銀蓮花真棒,它解決了我的目的,謝謝 –
@JimmyThakkar - 感謝您的意見。不幸的是,我沒有任何關於SEO鏈接的好主意。這不是一個容易解決的問題。我會做什麼是首先寫在紙上什麼是一個好的SEO鏈接。即首先在紙上創建一個定義!之後,你可以嘗試爲它制定一個算法。但首先你需要明確規則。也許在頁面上尋找匹配的關鍵字等等。然而人類可以很快地看到鏈接是否是SEO。因此,只需實施(2)就可以列出鏈接,只需幾秒鐘即可快速掃描100多個鏈接。 – Casper
- 1. 從搜索引擎友好的URL重寫到另一個搜索引擎友好的URL在同一地點
- 2. Ruby代碼來檢查網站是否有網站地圖
- 3. Grails的搜索引擎友好的URL
- 4. 搜索引擎友好的URL與.htaccess
- 5. UUID和搜索引擎友好的URL
- 6. 搜索引擎友好的URL Laravel
- 7. 搜索引擎友好的URL路由
- 8. AJAX和搜索引擎友好的URL
- 9. 搜索引擎友好的URL
- 10. 檢查網站是否在搜索引擎和目錄中列出的代碼
- 11. 搜索引擎友好的網址
- 12. 搜索引擎友好的網址與/
- 13. 搜索引擎友好網址.htaccess
- 14. 是否有一個好的Node.js索引/搜索引擎?
- 15. 漂亮的URL和搜索引擎優化友好的網址?
- 16. 開發搜索引擎友好的Flash網站
- 17. 使Durandal SPA網站搜索引擎友好
- 18. 使搜索URL搜索引擎友好:hash - >什麼?
- 19. 如何創建一個搜索,搜索引擎友好(mod_rewrite htaccess)
- 20. 使現有的URL搜索引擎友好未做更改表
- 21. 國防部重寫爲了有搜索引擎友好的URL
- 22. JSONP創建搜索引擎友好的代碼
- 23. htaccess的重定向URL搜索引擎優化友好的URL
- 24. 搜索引擎優化是如何友好的統一碼網址?
- 25. 創建具有.htaccess的一個搜索引擎友好的URL文件
- 26. Zend框架重寫URL搜索引擎優化友好的URL
- 27. 使搜索引擎友好的形式
- 28. 搜索引擎友好的鏈接
- 29. 搜索引擎友好的鏈接
- 30. 程序員友好的搜索引擎?
如果你真的想看看頁面中的所有鏈接,nokogiri是要走的路。你如何計劃區分一個SEO友好的網址和非SEO友好的網址? –
我還沒有任何想法,我會怎麼做。我會像@Casper建議的第一次看海葵。你有其他方式可以爲這種情況下工作嗎?謝謝 –
不幸的是,我只是好奇; - ) –