大學課程網站的網頁抓取/解析

試圖解析/抓取孟菲斯的課程網站。該網站是「https://spectrumssb2.memphis.edu/pls/PROD/bwckgens.p_proc_term_date」。它似乎是某種JavaScript問題，或動態生成的文本。我可以用livehttpdheaders/Firefox中看到潛在的DOM結構，而不是當我簡單地查看該頁面的底層源/文..大學課程網站的網頁抓取/解析

思想/評論/指針，將不勝感激......

2009-12-17 tom smith

哦。忘了提。一旦我找出如何實際訪問底層文本/數據，我最終將使用python/urllib/mechanize來解析網站。謝謝！ – 2009-12-17 00:40:17

如果沒有登錄，則無法查看。 – phoebus 2009-12-17 00:40:54

嗯，這現代現場可能會在幾個步驟內組裝。首先拉入主結構，然後通常根據用戶的身份執行額外的AJAX調用。最好的辦法是嗅探HTTP看到什麼樣的網站之間發出的請求的最初要求，當由於您使用螢火蟲它完全建立

你可以得到HttpFox add-on它給你什麼，你需要

2009-12-17 01:15:47 Bostone

嘿... 感謝您的回覆。看起來像是在瀏覽器中設置cookie的問題。當cookies被禁用時，我可以看到源/文本，我需要創建一個快速python測試來獲取文本的餅乾disbaled，以查看文本是否通過... 謝謝！ – 2009-12-17 15:27:54

回答