我使用Github來存儲我的網站之一的文本，但問題是谷歌索引Github中的文本以及。所以相同的文本將顯示在我的網站和Github上。例如this search最受歡迎的是我的網站。第二個命中是Github存儲庫。如何停止谷歌索引我的Github存儲庫
我不介意人們是否看到消息來源，但我不希望Google將其編入索引（並且可能會對重複內容進行處罰）。除了將存儲庫置於保密狀態之外，還有什麼方法可以告知Google停止索引它？
在Github Pages的情況下會發生什麼？這些源代碼位於Github存儲庫中。他們是否有同樣的重複問題？
以this search最高命中率導致the Marpa site，但我在搜索結果中看不到source。怎麼樣？
的https://github.com/robots.txt文件的GitHub允許在「主」分支斑點的索引，但限制其他所有分支機構。因此，如果您沒有「主」分支，Google不應爲您的網頁編制索引。
如何刪除「主」分支：
在你的克隆創建一個新的分支 - 我們稱之爲「主」，並將它推到GitHub上
git checkout -b main
git push -u origin main
在GitHub上更改默認分支（看到你的資料庫的設置部分） 或這裏https://github.com/blog/421-pick-your-default-branch
然後從你的克隆，從GitHub除去主分支：
git branch -d master
git push origin :master
讓其他人可能已經分叉你的倉庫來做同樣的事情。
另外，如果你想在財政上支持GitHub上，你可以去私人https://help.github.com/articles/making-a-public-repository-private
短芒。是的，你可以使用robots.txt。
如果您想阻止Googlebot抓取您網站上的內容，您有很多選擇，包括使用robots.txt阻止訪問服務器上的文件和目錄。
只有當您的網站包含您不希望搜索引擎建立索引的內容時，您才需要一個robots.txt文件。如果您希望搜索引擎對您網站中的所有內容進行索引，則不需要robots.txt文件（甚至不需要空文件）。
雖然Google不會抓取robots.txt阻止的網頁內容或對其索引，但如果我們在網絡上的其他網頁上找到這些網址，我們仍可能會將這些網址編入索引。因此，Google搜索結果中可能會顯示該網頁的網址以及潛在的其他公開信息，例如該網站鏈接中的定位文字或開放式目錄項目（www.dmoz.org）中的標題。
來源：
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=93708 http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449
robots.txt文件需要位於網頁的根目錄網站，我沒有http://github.com/robots.txt的寫訪問權也可以在HTML標頭中限制爬網，但我認爲我無法更改Github爲我的源代碼生成的頁面。 – szabgab 2013-04-06 06:11:12
如果有人希望在他們構建的GitHub頁面上禁止使用機器人： 使用GitHub頁面的用戶可以將robots.txt文件添加到他們的用戶頁面資源庫中，並使用它來控制所有構建頁面上的機器人（username.github.io/* ）。但它們不能隱藏用戶頁面的源代碼，因爲它必須在'''master'''中。對於項目存儲庫，'''master'''可以被刪除，另一個分支可以被用於GitHub頁面。 這不適用於OP，因爲szabgab說他不使用Github Pages。 – olavimmanuel 2017-12-05 14:37:10
望着Github上的robots.txt的，我看到在主分支的斑點是允許的，但所有其他分支被禁用。這可能是Marpa內容未被編入索引的解釋。所以也許如果我使用不同的分支，並從存儲庫中刪除主分支，索引將停止。 – szabgab 2013-04-05 23:14:24
[robots.txt指令彙總] [1] [1]（http://antezeta.com/news/avoid-search-engine-indexing） – 2013-04-06 01:34:42