當我提取的數據與我的瀏覽器中的「查看源」不同時，如何從網站中提取源代碼？

-1

我正在從a crowdfunding music based website刮取數據。爲研究目的。我特意試圖在網站上的「搖滾」流派下獲得項目數據，但是當我使用我的網絡爬蟲獲取源代碼時，它與我在我的瀏覽器上「查看源代碼」時所看到的不同分析網站時，我所需要的數據無處可查。當我提取的數據與我的瀏覽器中的「查看源」不同時，如何從網站中提取源代碼？

我檢查了網站，並試圖確定沒有成功的數據源。這是刮網站時的常見問題嗎？

我正在使用的網絡爬蟲是用VBA編寫的，並且已經被用來從其他網站上抓取數據，這是我第一次遇到這樣的事情。

2015-12-07 Sektrax

您需要等待Javascript才能運行 – SLaks

需要顯示您的網絡爬蟲程序的一些代碼 - 您只是提取源代碼，還是自動化IE加載頁面？頁面在加載後更新自己的內容並不罕見，因此您需要對此進行說明。 –

@TimWilliams我通過我的網絡爬蟲獲取源代碼。我對以前成功檢索過的網站也做過同樣的事情。我只是將源文件存儲在一個字符串中。我知道一些頁面可能會在加載後更新其內容。如果是這種情況，我將無法通過右鍵單擊網站並查看其源代碼來查看源代碼。 – Sektrax

您試圖訪問的數據必須從該頁面上的JavaScript生成，這就是爲什麼你無法在你的視圖源中看到它。要進行反擊檢查，請在Chrome中進行「檢查」，然後查看源代碼。比較同一頁面的數據，JavaScript生成的數據將在檢查窗口中，但不在視圖源中。

2015-12-13 15:55:40

回答