在訪問網頁時獲取所有URL列表

Question

有沒有webservice的任何工具在訪問網頁時在Excel中列出url？

例如，如果我去任何包含1-2-3-4頁的網站 - 下一頁現在，如果我點擊任何頁面，那麼該特定頁面的URL將被列出或在表格中。

我想從網站上抓取一些數據，所以我需要URL列表。

Answer 1

你可以使用Firefox中的selenium IDE插件來記錄你所需要的動作。自動代碼將根據您的選擇生成（java/perl/python/php）。您可以保存代碼並修改獲取URL的代碼並按需要繼續。這是你的問題的答案..我個人不會推薦你使用這種方法

Answer 2

你可以用Site Visualizer做到這一點。創建新項目，點擊開始按鈕來抓取網站。其所有頁面將列在Pages表中（位於主窗口的頂部）。點擊進入一個網頁，以獲取其所有鏈接在鏈接上市表（在窗口底部）：