使用python訪問和webscrape動態頁面

Question

我想使用它的表單參數訪問一個網頁。 我在chrome的開發人員選項卡中使用網絡標題找到了表單參數。 但它不工作，相反，它只是打開的頁面使用這些參數之前（即www.irishancestors.ie/search/townlands/ded_index.php）

import webbrowser 

webbrowser.open('http://www.irishancestors.ie/search/townlands/ded_index.php?action=listp&parish=Aghagallon') 

我的目的是檢索每個區選舉司的所有縣的所有表。

Answer 1

網頁瀏覽器沒有做什麼，你認爲它。

如果你想GET/POST數據到一個網頁，你應該使用requests

>>> import requests 
>>> r = requests.get('https://api.github.com/events') 
>>> r = requests.post('http://httpbin.org/post', data = {'key':'value'}) 

webbrowser是啓動Web瀏覽器。

請注意，如果有一堆javascript正在使用（這可能會，但它需要您的部分更多的工作），這不會工作得很好。如果你有很多Javascript，它可能會更容易使用selenium