2013-07-24 73 views
1

我看着和的urllib(2),機械化,和美麗的湯,希望找到的東西,抓住網絡調用,例如從頁面像素/烽火。不幸的是,我對他們中的任何人都不是很熟悉,也不太清楚如何進行我的搜索。有沒有辦法捕捉網站使用python進行的網絡調用?

我想使用python來運行一系列的網址,並捕獲每個網絡調用像素火災。任何人都可以知道一種手段或圖書館,我可以從這裏開始,以完成此?

看着webscrappying,但我不想要的HTML,而是我beleive我正在尋找該網站的GET請求。

回答

0

如果我知道你想什麼,你想要記錄顯示頁面時,就多頁的什麼請求瀏覽器使。您可以選擇使用python編寫瀏覽器腳本(請參閱:http://wiki.python.org/moin/WebBrowserProgramming),或者使用javascript腳本瀏覽器,並以某種方式輸出結果(我建議使用JSON,通過請求或文件),然後分析它們在python中。

你可能會發現更容易做的腳本在JavaScript中,誠實。

0

如果您有權訪問Firefox瀏覽器,另一種可能性是安裝Firebug,這是一款功能強大的調試工具,可讓您選擇在瀏覽器控制檯中顯示來自網頁的所有網絡流量。爲了將輸出從控制檯傳輸到文件,您需要安裝Firebug的ConsoleExport插件。

現在,您將能夠捕獲所有的流量從網頁到一個文件,然後可以使用Python解析。

相關問題