檢查網站是否使用站點地圖和機器人文件

Question

如何知道網站是否使用robot.txt和sitemap.txt？我已經完成提取關鍵字，描述，標題;但我無法找到代碼的方式來檢查網站是否使用robot.txt和sitemap.txt。

我做這樣的http://www.seoptimer.com/report/loadster.in/5553240531d12

Answer 1

使用的file_get_contents東西：

$robotsContents = file_get_contents("http://targetdomain.com/robots.txt"); 
$sitemapContents = file_get_contents("http://targetdomain.com/sitemap.xml"); 

檢查的內容是假的，假的就意味着404沒找到，然後檢查，如果它不是HTML內容（因爲有些站點重定向每個URL）與strpos($robotsContents, '<html') === false，如果沒有標籤，則表示它可以是txt或xml文件。

所以：

function pathExistsAndIsNotHtml($path) { 
    $contents = @file_get_contents($path); 
    return ! empty($contents) && strpos($contents, '<html') === false; 
} 
if(pathExistsAndIsNotHtml("http://targetdomain.com/robots.txt")) { 
    echo '<a href="http://targetdomain.com/robots.txt">http://targetdomain.com/robots.txt</a>'; 
} else { 
    echo 'There is no robots.txt'; 
} 
if(pathExistsAndIsNotHtml("http://targetdomain.com/sitemap.xml")) { 
    echo '<a href="http://targetdomain.com/sitemap.xml">http://targetdomain.com/sitemap.xml</a>'; 
} else { 
    echo 'There is no sitemap.xml'; 
}