如何跟蹤使用Python在Web瀏覽器中打開的網頁？

Question

我想寫一個Python腳本，可以跟蹤哪些網頁已經在我的瀏覽器（Mozilla Firefox 23）中打開過。我不知道從哪裏開始。 Python的標準webbrowser模塊允許打開網頁，但標準文檔沒有任何關於與網頁交互的內容。

那麼，我需要爲我的瀏覽器編寫一個插件，它可以將數據發送到我的Python腳本，我是否缺少標準庫的功能？

我已經看過一些相關的問題，如this，但它們都是關於使用機械化和/或硒模擬Python中的Web瀏覽器。我不想這樣做。我想從使用標準Python庫的webbrowser獲取數據。

編輯

只是一些更清晰添加到這個問題，我想跟蹤當前網頁在Firefox開放的。

Answer 1

這個答案可能有點模糊 - 這是因爲問題不是非常具體。

如果我理解得很好，您想查看訪問頁面的歷史。問題在於它不直接與HTML，HTTP協議或Web服務相關。歷史記錄（您可以在Firefox中按Ctrl-H時觀察到）是在Firefox中實現的工具，因此它絕對取決於實施。可能沒有標準庫能夠提取信息。

至於HTTP協議和HTML中頁面的內容，沒有什麼像交互與頁面的內容。該協議使用帶有URL的GET作爲參數，Web服務器將文本正文與一些元信息一起發回。調用者（瀏覽器）可以對返回的數據執行任何操作。瀏覽器使用標記的文本，並將其解釋爲可讀文檔，並儘可能好地呈現零件。交互（點擊href）由瀏覽器實現。它會導致http協議的其他GET命令。

要回答你的問題，你需要找到Mozilla Firefox 23如何存儲歷史記錄。很可能你可以在內部SQLite數據庫的某處找到它。

更新2015-08-24：請參閱erasmortg關於在Firefox中放置信息的更改的評論。 （下面的文本比這個舊。）

更新：打開的選項卡列表綁定到用戶。正如你可能需要它的Windows，你應該首先得到像c:\Users\myname.mydomain\AppData\Roaming\Mozilla\Firefox\Profiles\yoodw5zk.default-1375107931124\sessionstore.js這樣的路徑。配置文件名稱可能應該從c:\Users\myname.mydomain\AppData\Roaming\Mozilla\Firefox\profiles.ini中提取。我剛剛複製了sessionstore.js試圖獲取數據。正如它說javascript，我確實使用標準的json模塊來解析它。你基本上得到字典。其中一個項目'windows'包含另一個字典，其'tabs'又包含有關選項卡的信息。

複製你sessionstore.js到工作目錄，並有執行以下腳本：既顯示在控制檯（幾行）上

#!python3 

import json 

with open('sessionstore.js', encoding='utf-8') as f: 
    content = json.load(f) 

# The loaded content is a dictionary. List the keys first (console). 
for k in content: 
    print(k) 

# Now list the content bound to the keys. As the console may not be capable 
# to display all characters, write it to the file. 
with open('out.txt', 'w', encoding='utf-8') as f: 

    # Write the overview of the content. 
    for k, v in content.items(): 
     # Write the key and the type of the value. 
     f.write('\n\n{}: {}\n'.format(k, type(v))) 

     # The value could be of a list type, or just one item. 
     if isinstance(v, list): 
      for e in v: 
       f.write('\t{}\n'.format(e)) 
     else: 
      f.write('\t{}\n'.format(v)) 

    # Write the content of the tabs in each windows. 
    f.write('\n\n=======================================================\n\n') 
    windows = content['windows'] 
    for n, w in enumerate(windows, 1): # the enumerate is used just for numbering the windows 
     f.write('\n\tWindow {}:\n'.format(n)) 
     tabs = w['tabs'] 
     for tab in tabs: 
      # The tab is a dictionary. Display only 'title' and 'url' from 
      # 'entries' subdictionary. 
      e = tab['entries'][0] 
      f.write('\t\t{}\n\t\t{}\n\n'.format(e['url'], e['title'])) 

結果，並寫入out.txt文件在工作目錄。該out.txt（在文件的結尾）包含類似的東西在我的情況：

Window 1: 
    http://www.cyrilmottier.com/ 
    Cyril Mottier 

    http://developer.android.com/guide/components/fragments.html#CommunicatingWithActivity 
    Fragments | Android Developers 

    http://developer.android.com/guide/components/index.html 
    App Components | Android Developers 

    http://www.youtube.com/watch?v=ONaD1mB8r-A 
    ▶ Introducing RoboSpice: A Robust Asynchronous Networking Library for Android - YouTube 

    http://www.youtube.com/watch?v=5a91dBLX8Qc 
    Rocking the Gradle with Hans Dockter - YouTube 

    http://stackoverflow.com/questions/18439564/how-to-keep-track-of-webpages-opened-in-web-browser-using-python 
    How to keep track of webpages opened in web-browser using Python? - Stack Overflow 

    https://www.google.cz/search?q=Mozilla+firefox+list+of+open+tabs&ie=utf-8&oe=utf-8&rls=org.mozilla:cs:official&client=firefox-a&gws_rd=cr 
    Mozilla firefox list of open tabs - Hledat Googlem 

    https://addons.mozilla.org/en-US/developers/docs/sdk/latest/dev-guide/tutorials/list-open-tabs.html 
    List Open Tabs - Add-on SDK Documentation 

    https://support.mozilla.org/cs/questions/926077 
    list all tabs button not showing | Fórum podpory Firefoxu | Podpora Mozilly 

    https://support.mozilla.org/cs/kb/scroll-through-your-tabs-quickly 
    Scroll through your tabs quickly | Nápověda k Firefox 

Answer 2

你要跟蹤的網頁，通過Python的在FF打開的。那麼，爲什麼不用Python編寫Web代理並配置FireFox來使用該Web代理。

之後，您可以通過正則表達式過濾所有從Firefox發出的HTTP請求，並將它們存儲在文件或數據庫中。