2016-07-22 59 views
1

我有幾個PDF文件上傳到Wordpress(通過媒體上傳),這不應該由谷歌索引。我能找到的唯一解決方案是在我的robots.txt上添加文件名,拒絕漫遊器抓取這些文件。在Wordpress上添加pdf文件到robots.txt

問題是這種方法需要我的robots.txt文件的不斷更新。如果有更多的人開始研究這個項目(在這種情況下,編輯),這不是一個好的解決方案。他們可能無法更新robots.txt文件。

有沒有辦法在我的robots.txt上添加PDF文件?也許一個自定義字段,如果它是真的,那麼該文件被添加?

一個重要的細節:通過Media Uploader上傳的一些PDF文件應該被編入索引。但有些人不應該。這就是爲什麼我無法添加過濾所有PDF文件的規則。

+0

是否需要抓取一些PDF?你把它們存儲在一個你可以排除的目錄中嗎? – blur0224

+0

該文件與其他任何託管文件一樣。你可以寫一個腳本或者其他的東西來編輯這個文件,但是這看起來很複雜,可能不值得。也許存儲PDF的方式可以將其排除在規則之外?要麼在一個單獨的目錄中,要麼通過命名約定? – blur0224

回答

0

根據documentation,可以按目錄或文件類型或兩者排除。只要您不想抓取任何內容,您可以使用Disallow: /*.pdf