所以我想通過CURL在PHP中抓取一些網頁。php curl - 瀏覽器vs腳本
當我通過web瀏覽器vs php腳本查看頁面時,我所遇到的結果是不同的。
也許他們實現某種功能時,它是通過PHP腳本
任何幫助,將不勝感激觀看重定向的頁面。
預先感謝您。
所以我想通過CURL在PHP中抓取一些網頁。php curl - 瀏覽器vs腳本
當我通過web瀏覽器vs php腳本查看頁面時,我所遇到的結果是不同的。
也許他們實現某種功能時,它是通過PHP腳本
任何幫助,將不勝感激觀看重定向的頁面。
預先感謝您。
想象這實際發生並不是不合理的。網站所有者可能想阻止頁面抓取。您可以通過捲曲傳遞一個用戶代理這樣的驗證這一理論(這是爲iPhone用戶代理):
curl -A "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5" http://www.apple.com
你可以有不同的結果,因爲也許你加載的頁面有一些Ajax的內容和它的動態加載。 cURL只能加載靜態html,就是這樣。初始負載之後的任何內容都會丟失。如果你想瀏覽器像體驗網站廢品考慮PhantomJS
你是什麼意思不同的結果? – vodich
請給出更多信息。你想要抓取什麼?你有沒有任何代碼等 – jValdron
檢查瀏覽器發出的請求,並用curl模仿它。 – PeeHaa