這將會對您的搜索引擎優化產生影響。如果您沒有明確允許robots.txt
文件中的子頁面,您將有一個根本沒有被搜索引擎抓取的網站(至少服從robots.txt
的網站)。
在robots.txt
從搜索引擎中獲得任何的流量,你需要將代碼設置爲:
User-agent: *
allow: /Parent 1/Child A
allow: /Parent 2/Child A
allow: /Parent 3/Child A
allow: /Parent 1/Child B
allow: /Parent 2/Child B
allow: /Parent 3/Child B
allow: /Parent 1/Child C
allow: /Parent 2/Child C
allow: /Parent 3/Child C
User-agent: *
Disallow: /Parent 1
Disallow: /Parent 2
Disallow: /Parent 3
的網站仍然會抓取頁面,並使用它們網頁排名,但他們不會然而排名頁面設置用於搜索結果中的非索引。他們會對從這些頁面接收鏈接的任何頁面進行排名
基本上搜索引擎必須看每一頁,以確保你不是spamdexing或做任何違反他們的服務條款。
你必須要小心這些設置,因爲根據谷歌:
您的網站上prevent all robots from indexing a page,以下meta標籤放置到頁面的<head>
部分:
<meta name="robots" content="noindex">
當我們在網頁上看到noindex元標記時,即使其他網頁鏈接到該網頁,Google也會從我們的搜索結果中徹底刪除該網頁。但是,其他搜索引擎可能會以不同的方式解釋此指令。因此,到頁面的鏈接仍可能出現在其搜索結果中。
其他說明
基本上,搜索引擎要提供他們正在尋找的鏈接的最終用戶。他們通過瀏覽器,cookie,分析軟件以及插件,鏈接,推薦鏈接以及頁面中與內容相關的鏈接等其他各種內容來檢查以下用戶。通過在內容中使用關鍵字在索引中放置一個頁面,這些關鍵字不會將該人員發送到他們正在尋找的頁面,如果該頁面與他們的搜索無關,那麼訪問者就會冒着「反彈」的風險。如果他們反彈,那麼搜索引擎(主要是Google)不會認爲該頁面是相關的,並且會降低頁面的排名(以及隨後的網站)。
這個問題似乎是題外話題,因爲它是關於SEO –
它應該是什麼主題? –
@JohnConde有點SEO是[on-server]編程。其餘的都是病毒轉介(非現場編程)。 –