tomcat網址和robots.txt

Question

如果我在Tomcat中有一個Web服務/應用程序，我是否必須擔心類似「robots.txt」的機制讓搜索引擎不受tomcat的拖曳？我只是想阻止谷歌和其他人在tomcat中索引任何東西...這是我正在開發的一個小項目，服務器可以通過靜態IP和域名訪問，而且我目前沒有用於tomcat的身份驗證儘管這將很快完成。如果您只需輸入服務器的域名或IP地址，則會在IIS中得到一個簡單的「空白」頁面......只有當您知道時，才能輸入tomcat子目錄名稱（已連接進入IIS使用雅加達），該tomcat應用程序變得可見並顯示在瀏覽器中。

我需要擔心這些嗎？會認爲，因爲谷歌無法達到最初的tomcat網址，除非它事先知道，它沒有什麼可以「饋送」？

Answer 1

除非網頁中有任何內容鏈接到Tomcat頁面，否則我不會擔心。

從Google的角度思考 - 你將如何實現這樣的事情？從任何給定的URL開始並強制所有可能的路徑？如果谷歌那強大，我會非常驚訝。

這種類型的內容甚至有一個名稱，Invisible Web。