Python快速靜態文件服務

什麼是在Python中提供靜態文件的最快方式？我正在尋找與Nginx的靜態文件服務相等或足夠接近的內容。Python快速靜態文件服務

我知道SimpleHTTPServer，但不知道它是否可以有效和可靠地處理多個文件。

另外，我不介意它是某種lib /框架的一部分，只要它的lib/framework是輕量級的。

來源

2012-11-12 Marconi

這真的不是Python的工作。 Nginx出了什麼問題？ –

@DanielRoseman：我可以想象Ngix在打包和部署Python應用程序時不太實用。 – Hubro

@DanielRoseman，因爲我需要一些基於Python的，儘可能輕量但高效的東西。我正在編寫一個小軟件包，我希望將這個靜態文件服務捆綁在那裏，而不是依賴像Nginx這樣的外部依賴項。 – Marconi

FAPWS3怎麼樣？其中一個賣點：

靜態文件服務器

FAPWS可以用來服務於一個巨大的靜態文件請求的金額。藉助後端的異步數據庫，您可以將FAPWS用作您自己的Amazon S3。

來源

2012-11-12 08:05:09 Hubro

是的，我見過這個，可能真的考慮它。只需要更多的投入，這就是爲什麼我問。 – Marconi

我強烈建議使用第三方HTTP服務器來提供靜態文件。

像nginx這樣的服務器針對手頭的任務進行了大量優化，並行化並以快速語言編寫。

Python綁定到一個處理器並進行解釋。

來源

2012-11-12 08:05:15 0x90

>解釋。沒關係，文件服務是IOBound。 –

'Python綁在一個處理器上' 它不是，它從來沒有綁在一個處理器上。只有GIL鎖定在線程中。 Python多重處理標準庫和許多並行處理第三方庫比線程更好，它們都在多處理器上工作。 –

-1

如果你找一個oneliner你可以做到以下幾點：

$>蟒蛇-m SimpleHTTPServer

所需的所有任務，這將不會fullfil但值得一提的是這款是最簡單的方法:-)

來源

2012-11-12 08:59:53 kiddouk

我知道SimpleHTTPServer，我在上面提到過。 :) – Marconi

注意自我：先閱讀問題:-) – kiddouk

來自python標準庫的原始SimpleHTTPServer沒有「句柄有效和可靠地處理多個文件「。例如，如果您要從中下載一個文件，則對其進行的另一個HTTP訪問必須懸停，因爲SimpleHTTPServer.py是簡單的單線程HTTP服務器其中只能同時支持一個連接。

幸運的是，注意SimpleHTTPServer.py使用BaseHTTPServer.HTTPServer的處理程序，它可以通過SocketServer.ForkingMixIn和SocketServer.ThreadingMixIn包裹也從Python標準庫，支持多進程和多線程模式，這可能高度提高簡單的HTTP服務器的「指標有效性和可靠性「。

按照這個思路，一個SimpleHTTPServer與多線程/多進程支持從原來的被給定爲修改如下：

$ python2.7 ModifiedSimpleHTTPServer.py 
usage: ModifiedSimpleHTTPServer.py [-h] [--pydoc] [--port PORT] 
            [--type {process,thread}] [--root ROOT] 
            [--run] 

Modified SimpleHTTPServer with MultiThread/MultiProcess and IP bind support. 

Original: https://docs.python.org/2.7/library/simplehttpserver.html 
Modified by: [email protected] 

optional arguments: 
    -h, --help   show this help message and exit 
    --pydoc    show this module's pydoc 

run arguments: 

    --port PORT   specify server port (default: 8000) 
    --type {process,thread} 
         specify server type (default: 'thread') 
    --root ROOT   specify root directory (default: cwd '/home/vbem') 
    --run     run http server foreground 

NOTE: stdin for input, stdout for result, stderr for logging

例如，ModifiedSimpleHTTPServer.py --run --root /var/log --type process將運行多進程HTTP靜態以'/ var/log'作爲根目錄的文件服務器。

修改代碼爲：

#! /usr/bin/env python2.7 
# -*- coding: utf-8 -*- 
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # 
r"""Modified SimpleHTTPServer with MultiThread/MultiProcess and IP bind support. 

Original: https://docs.python.org/2.7/library/simplehttpserver.html 
Modified by: [email protected] 
""" 

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # 
import os, sys, pwd, posixpath, BaseHTTPServer, urllib, cgi, shutil, mimetypes, socket, SocketServer, BaseHTTPServer 
from cStringIO import StringIO 

USERNAME = pwd.getpwuid(os.getuid()).pw_name 
HOSTNAME = socket.gethostname() 
PORT_DFT = 8000 

class SimpleHTTPRequestHandler(BaseHTTPServer.BaseHTTPRequestHandler): 

    server_version = "SimpleHTTP/0.6" 

    def do_GET(self): 
     f = self.send_head() 
     if f: 
      self.copyfile(f, self.wfile) 
      f.close() 

    def do_HEAD(self): 
     f = self.send_head() 
     if f: 
      f.close() 

    def send_head(self): 
     path = self.translate_path(self.path) 
     f = None 
     if os.path.isdir(path): 
      if not self.path.endswith('/'): 
       self.send_response(301) 
       self.send_header("Location", self.path + "/") 
       self.end_headers() 
       return None 
      for index in "index.html", "index.htm": 
       index = os.path.join(path, index) 
       if os.path.exists(index): 
        path = index 
        break 
      else: 
       return self.list_directory(path) 
     ctype = self.guess_type(path) 
     try: 
      f = open(path, 'rb') 
     except IOError: 
      self.send_error(404, "File not found") 
      return None 
     self.send_response(200) 
     self.send_header("Content-type", ctype) 
     fs = os.fstat(f.fileno()) 
     self.send_header("Content-Length", str(fs[6])) 
     self.send_header("Last-Modified", self.date_time_string(fs.st_mtime)) 
     self.end_headers() 
     return f 

    def list_directory(self, path): 
     try: 
      list = ['..'] + os.listdir(path) # 
     except os.error: 
      self.send_error(404, "No permission to list directory") 
      return None 
     list.sort(key=lambda a: a.lower()) 
     f = StringIO() 
     displaypath = cgi.escape(urllib.unquote(self.path)) 
     f.write('<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 3.2 Final//EN">') 
     f.write("<html>\n<title>%s %s</title>\n<body>" % (HOSTNAME, displaypath)) 
     f.write("%[email protected]%s:<strong>%s</strong>\n" % (USERNAME, HOSTNAME, path.rstrip('/')+'/')) 
     f.write("<hr>\n<ul>\n") 
     for name in list: 
      fullname = os.path.join(path, name) 
      displayname = linkname = name 
      if os.path.isdir(fullname): 
       displayname = name + "/" 
       linkname = name + "/" 
      if os.path.islink(fullname): 
       displayname = name + "@" 
      f.write('<li><a href="%s">%s</a>\n' 
        % (urllib.quote(linkname), cgi.escape(displayname))) 
     f.write("</ul>\n<hr>\n<pre>%s</pre>\n</body>\n</html>\n" % __doc__) 
     length = f.tell() 
     f.seek(0) 
     self.send_response(200) 
     encoding = sys.getfilesystemencoding() 
     self.send_header("Content-type", "text/html; charset=%s" % encoding) 
     self.send_header("Content-Length", str(length)) 
     self.end_headers() 
     return f 

    def translate_path(self, path): 
     path = path.split('?',1)[0] 
     path = path.split('#',1)[0] 
     path = posixpath.normpath(urllib.unquote(path)) 
     words = path.split('/') 
     words = filter(None, words) 
     path = os.getcwd() 
     for word in words: 
      drive, word = os.path.splitdrive(word) 
      head, word = os.path.split(word) 
      if word in (os.curdir, os.pardir): continue 
      path = os.path.join(path, word) 
     return path 

    def copyfile(self, source, outputfile): 
     shutil.copyfileobj(source, outputfile) 

    def guess_type(self, path): 
     base, ext = posixpath.splitext(path) 
     if ext in self.extensions_map: 
      return self.extensions_map[ext] 
     ext = ext.lower() 
     if ext in self.extensions_map: 
      return self.extensions_map[ext] 
     else: 
      return self.extensions_map[''] 

    if not mimetypes.inited: 
     mimetypes.init() 
    extensions_map = mimetypes.types_map.copy() 
    extensions_map.update({'': 'text/plain'}) 

class ProcessedHTTPServer(SocketServer.ForkingMixIn, BaseHTTPServer.HTTPServer): 
    r"""Handle requests in multi process.""" 

class ThreadedHTTPServer(SocketServer.ThreadingMixIn, BaseHTTPServer.HTTPServer): 
    r"""Handle requests in a separate thread.""" 

SERVER_DICT = { 
    'thread' : ThreadedHTTPServer, 
    'process' : ProcessedHTTPServer, 
} 
SERVER_DFT = 'thread' 

def run(sCwd=None, sServer=SERVER_DFT, nPort=PORT_DFT, *lArgs, **dArgs): 
    r""" 
    """ 
    sys.stderr.write('start with %r\n' % sys._getframe().f_locals) 
    if sCwd is not None: 
     os.chdir(sCwd) 
    cServer = SERVER_DICT[sServer] 
    oHttpd = cServer(("", nPort), SimpleHTTPRequestHandler) 
    sys.stderr.write('http://%s:%s/\n' % (HOSTNAME, nPort)) 
    oHttpd.serve_forever() 

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # 
# main 

def _main(): 
    r"""Main. 
    """ 
    import argparse 

    oParser = argparse.ArgumentParser(
     description = __doc__, 
     formatter_class = argparse.RawTextHelpFormatter, 
     epilog = 'NOTE: stdin for input, stdout for result, stderr for logging', 
    ) 
    oParser.add_argument('--pydoc', action='store_true', 
     help = "show this module's pydoc", 
    ) 

    oGroupR = oParser.add_argument_group(title='run arguments', description='') 
    oGroupR.add_argument('--port', action='store', type=int, default=PORT_DFT, 
     help = 'specify server port (default: %(default)r)', 
    ) 
    oGroupR.add_argument('--type', action='store', default=SERVER_DFT, choices=SERVER_DICT.keys(), 
     help = 'specify server type (default: %(default)r)', 
    ) 
    oGroupR.add_argument('--root', action='store', default=os.getcwd(), 
     help = 'specify root directory (default: cwd %(default)r)', 
    ) 
    oGroupR.add_argument('--run', action='store_true', 
     help = '\n'.join((
      'run http server foreground', 
    ))) 

    oArgs = oParser.parse_args() 

    if oArgs.pydoc: 
     help(os.path.splitext(os.path.basename(__file__))[0]) 
    elif oArgs.run: 
     return run(sCwd=oArgs.root, sServer=oArgs.type, nPort=oArgs.port) 
    else: 
     oParser.print_help() 
     return 1 

    return 0 

if __name__ == "__main__": 
    exit(_main())

同時，只有200行的單個蟒文件可能滿足你「在Python」和「輕質」的要求。

最後但並非最不重要的是，這個ModifiedSimpleHTTPServer.py可能是臨時使用的「殺手級應用程序」，但是，建議Nginx長期使用。

來源

2016-07-07 11:06:06 vbem

Python快速靜態文件服務

回答

相關問題