我應該把實際的.aspx文件/路徑Robots.txt或路線？

Question

我開發一個asp.net（4.0）Web窗體應用程序和正在使用的路由我的所有URL。 我不確定是否我應該把條目在我的robots.txt這樣的：

Disallow: /forum/editpost.aspx 

（實際路徑/文件名）

OR這樣的：

Disallow: /forum/edit-post 

我假設它是後者，因爲這是我所有的網頁在網上被引用的方式，但認爲它更安全。

Answer 1

下，你永遠不會被物理路徑引用頁面，不想引用的物理路徑的頁面（因爲你正在使用的路由）的假設下，你不需要把物理頁到機器人文件，因爲爬蟲永遠不會找到它們。

因此，你只需要禁止的路由路徑。如果你擔心，你不小心用在您的網站上的某個地方的鏈接物理路徑，我想你可以禁止物理頁只要是安全的（希望能在一杆）。

Answer 2

使用任何的Googlebot等。會在他們索引頁面時看到。 Robots.txt不會在服務器端執行，解析或處理。