爲什麼有些網站不可刮？

Question

我剛開始學習如何使用正則表達式從網站中提取數據。我的第一個目標是提取網站的標題。這裏是我的代碼是什麼樣子：

<?php 
    $data = file_get_contents('http://bctia.org'); 
    $regex = '/<title>(.+?)<\/title>/'; 
    preg_match($regex,$data,$match); 
    var_dump($match); 
?> 

的var_dump的結果是空的：

array(0) { } 

起初我還以爲，「也許bctia.org沒有一個標題」？但是，情況並非如此，因爲我檢查了bctia.org的來源，並且其確實含有<title>和</title>之間的內容。

然後我想，也許我的代碼不起作用？但是，這也不是這種情況，因爲我用其他網站代替了bctia.org，例如bing.com或apple.com，他們都返回了正確的結果。例如，apple.com我得到正確的結果

array(2) { [0]=> string(20) "" [1]=> string(5) "Apple" } 

所以，我必須得出的結論是bctia.org是一個非常特殊的網站，讓我無法提取其標題...

我想知道那實際上是這樣嗎？或者，也許我的代碼有一些問題，我還沒有確定？

預先感謝您！

Answer 1

這個特定網站的服務器端代碼假設客戶端發送了一個User-Agent頭文件，顯然，您的PHP安裝未配置爲發送一個。因此返回500 Internal Server Error，導致file_get_contents返回false。

Source Error: 
Line 66: //LOAD: Compatibility Mode 
Line 67: //<meta http-equiv="X-UA-Compatible" content="IE=7,IE=9" /> 
Line 68: string BrowserOS = Request.ServerVariables["HTTP_USER_AGENT"].ToString(); 
Line 69: HtmlMeta compMode = new HtmlMeta(); 
Line 70: compMode.Content = "IE=7,IE=9"; 


Source File: c:\inetpub\wwwroot\BCTIA\Website\bctia\layouts\Main Layout.aspx.cs 
Line: 68 

Stack Trace: 
[NullReferenceException: Object reference not set to an instance of an object.] 
    Layouts.Main_Layout.Page_Load(Object sender, EventArgs e) in c:\inetpub\wwwroot\BCTIA\Website\bctia\layouts\Main Layout.aspx.cs:68 
    System.Web.Util.CalliHelper.EventArgFunctionCaller(IntPtr fp, Object o, Object t, EventArgs e) +24 
    System.Web.UI.Control.LoadRecursive() +70 
    System.Web.UI.Page.ProcessRequestMain(Boolean includeStagesBeforeAsyncPoint, Boolean includeStagesAfterAsyncPoint) +3063 

要解決此問題，只需將發出請求之前用戶代理字符串：

ini_set('user_agent', 'Mozilla/5.0 (compatible; Examplebot/0.1; +http://www.example.com/bot.html)');