使用php隱藏網絡爬蟲的內容。可能嗎？

-2

我是新來編程，所以請如果我說一些愚蠢的事不要評判我。使用php隱藏網絡爬蟲的內容。可能嗎？

我想知道是否有任何方式來欺騙網絡爬蟲，所以一些網站的內容將是一個人類訪客不同，不是一個網絡蜘蛛。

所以這裏有一個想法，我想。

每次訪客進入一個頁面，會有一個腳本，將確定從Facebook API用戶的性別。如果有返回（如果用戶在同一個瀏覽器中連接到Facebook），那麼一些代碼將用PHP打印到頁面代碼中。如果它是抓取工具，則不會返回，因此該代碼不會存在於該頁面的源代碼中。

我知道PHP是一個服務器端語言，所以網絡爬蟲不必permition掃描這些代碼。如果我不對，請糾正我。

謝謝。

來源

2013-03-03 Steve

請參閱[1]（http://stackoverflow.com/questions/677419/how-to-detect-search-engine-bots-with-php）和[2]（http：// www.cult-f.net/detect-crawlers-with-php/）可以幫助你 – 2013-03-03 15:41:12

你是假設所有的人類遊客）有一個Facebook賬戶，b）登錄到Facebook時，他們訪問您的網站，以及c ）他們的個人資料是公開的，或者他們明確允許您的網站訪問其個人資料 – JJJ 2013-06-16 05:50:09

我想你正在嘗試做的可以使用robots.txt

此文件可以在您的網站的根目錄下坐下來完成，它定義了網絡爬蟲規則。請參閱：http://www.robotstxt.org/

來源

2013-03-03 15:42:27 jas

robot.txt是不可行的。它更多的是關於你的谷歌要求，而不是任意的。另外，當用戶從根目錄手動打開robot.txt時，用戶會看到什麼？ – samayo 2013-03-03 15:46:59

我知道一些抓取工具可以忽略robots.txt。無論如何感謝您的答案。 – Steve 2013-03-03 15:52:03

使用php隱藏網絡爬蟲的內容。可能嗎？

回答

相關問題