3
我準備開放圖發佈。
開放圖的特徵之一是抓取網站的元數據,併爲時間線提取相關信息。
我的sitemap.xml運行到演出,並受流行的爬蟲,如Googlebot & Slurp速率限制和IP白名單保護。
有人可以通過我的機器人名稱和IPS將爬行Facebook?這不僅適用於sitemap.xml,也適用於一般費率限制(全站)白名單。打開圖:Facebook爬蟲名稱和IP的白名單
我準備開放圖發佈。
開放圖的特徵之一是抓取網站的元數據,併爲時間線提取相關信息。
我的sitemap.xml運行到演出,並受流行的爬蟲,如Googlebot & Slurp速率限制和IP白名單保護。
有人可以通過我的機器人名稱和IPS將爬行Facebook?這不僅適用於sitemap.xml,也適用於一般費率限制(全站)白名單。打開圖:Facebook爬蟲名稱和IP的白名單
當前用戶代理是:facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
出版的Facebook其IP範圍here。