啓用搜索引擎從Web應用程序索引數據

Question

我正在使用Java和Cassandra DB構建社交Web應用程序。我希望我的數據庫中的一些數據對搜索引擎可見。 由於我的應用程序是完全動態的，&僅包含數據庫中的數據而不包含靜態頁面中的數據，因此抓取工具如何讀取此數據？

1.）如何確保存儲在我的服務器上的數據可以被搜索引擎看到？我的應用程序包含用戶特定的數據

2.）搜索引擎如何訪問該數據？

3.）我怎樣才能限制搜索引擎只抓取一些特定的數據？

Answer 1

1）您需要將用戶特定的信息與公共信息分開，或者您應該有公共和專用頁面 - 或者您可以通過基於會話的Ajax調用來修飾您的公共頁面。

含義：瀏覽器只是加載頁面的公共版本，而javascript會加載用戶的具體信息並將它們注入頁面。

2和3可以通過向Google上傳站點地圖解決。

還是要Google直接與Cassendra交談......？然後忽略以上所有 - 我想。

Answer 2

閱讀the explanations from Google。

搜索引擎像訪問您網站的任何其他用戶一樣訪問您的數據：通過瀏覽並點擊他們找到的所有鏈接。只能通過AJAX訪問的內容將更難以通過搜索引擎訪問。

使用robots.txt文件可以限制訪問。解釋在上面給出的鏈接中給出。