如何從JavaScript下載呈現的網頁？

Question

如何從JavaScript呈現的網頁上的鏈接下載？ Python是首選語言。

到目前爲止，我已經嘗試在無頭服務器上使用Python bindings for Selenium。這種方法非常緩慢，充滿錯誤，並且不能可靠地確定下載進度或成功。另外，無頭服務器會干擾我的剪貼板（這是一個問題）。我使用Firefox，因爲它可以配置爲下載到默認目錄，但我認爲Chrome的情況並不會更好。

另外，我試過使用WebKit。

def render(url): 
    """Fully render a webpage (JavaScript and all) and return the HTML.""" 

    import subprocess 
    from textwrap import dedent 

    script = dedent("""\ 
    import sys 
    from PyQt4.QtCore import QUrl 
    from PyQt4.QtGui import QApplication 
    from PyQt4.QtWebKit import QWebPage 

    class Render(QWebPage): 

     def __init__(self, url): 
      self.app = QApplication(sys.argv) 
      QWebPage.__init__(self) 
      self.loadFinished.connect(self._loadFinished) 
      self.mainFrame().load(QUrl(url)) 
      self.app.exec_() 

     def _loadFinished(self, result): 
      self.frame = self.mainFrame() 
      self.app.quit() 

    render = Render(sys.argv[1]) 
    print render.frame.toHtml().toAscii()""").encode() 

    process = subprocess.Popen(['python2', '-', url], 
           stderr=subprocess.PIPE, 
           stdin=subprocess.PIPE, 
           stdout=subprocess.PIPE) 

    # pipe script into Python's stdin 
    return process.communicate(script)[0].decode('latin1') 

這將是偉大的，如果不是因爲我需要下載是在同一個會話的事實。有沒有辦法保留用於渲染頁面的會話？ PyQt4和WebKit只是一堆共享庫。我不知道如何撕毀他們的膽量，或者甚至可能這樣的事情。

現在我只是做了以下內容：

with requests.Session() as session: 
    html = session.get(url).text 
    link = get_url(html) 
    download(link, session=session) 

沒有進入細節，get_url(html, url)只需從頁面中提取的JavaScript，黑客客場DOM任何電話，然後在node執行它。真的很討厭的東西...

任何方式，我可以安全地呈現一個網頁，並保持會話？

如果Python不合適或者JavaScript替代品更優雅，我也可以在節點中完全實現它。它看起來像也許node-dom可能就足夠了？我不是很熟悉它，但我對任何建議感興趣。

Answer 1

在Python 2或3中的PyQt5在這種情況下做的伎倆。請注意，該函數過於複雜，以支持使用WebKit的早期版本的PyQt5以及使用WebEngine的更高版本。

import sys 


def render(source_html): 
    """Return rendered HTML.""" 
    try: 
     from PyQt5.QtCore import QEventLoop 
     from PyQt5.QtWebEngineWidgets import QWebEngineView 
     from PyQt5.QtWidgets import QApplication 

     class Render(QWebEngineView): 
      """Render HTML with PyQt5 WebEngine.""" 

      def __init__(self, html): 
       self.html = None 
       self.app = QApplication(sys.argv) 
       QWebEngineView.__init__(self) 
       self.loadFinished.connect(self._loadFinished) 
       self.setHtml(html) 
       while self.html is None: 
        self.app.processEvents(
         QEventLoop.ExcludeUserInputEvents | 
         QEventLoop.ExcludeSocketNotifiers | 
         QEventLoop.WaitForMoreEvents) 
       self.app.quit() 

      def _callable(self, data): 
       self.html = data 

      def _loadFinished(self, result): 
       self.page().toHtml(self._callable) 
    except ImportError: 
     from PyQt5.QtWebKitWidgets import QWebPage 
     from PyQt5.QtWidgets import QApplication 

     class Render(QWebPage): 
      """Render HTML with PyQt5 WebKit.""" 

      def __init__(self, html): 
       self.html = None 
       self.app = QApplication(sys.argv) 
       QWebPage.__init__(self) 
       self.loadFinished.connect(self._loadFinished) 
       self.mainFrame().setHtml(html) 
       self.app.exec_() 

      def _loadFinished(self, result): 
       self.html = self.mainFrame().toHtml() 
       self.app.quit() 

    return Render(source_html).html 

或者PyQt4的Python中2

import sys 
from PyQt4.QtGui import QApplication 
from PyQt4.QtWebKit import QWebPage 


class Render(QWebPage): 

    """Fully render HTML, JavaScript and all.""" 

    def __init__(self, html): 
     self.app = QApplication(sys.argv) 
     QWebPage.__init__(self) 
     self.loadFinished.connect(self._loadFinished) 
     self.mainFrame().setHtml(html) 
     self.app.exec_() 

    def _loadFinished(self, result): 
     self.frame = self.mainFrame() 
     self.app.quit() 

render = Render(html) 
result = str(render.frame.toHtml().toAscii())