使用python從ssh讀取服務器上的文件

Question

我試圖從服務器上使用ssh從python讀取文件。我使用paramiko來連接。我可以連接到服務器並運行一個像'cat filename'這樣的命令並從服務器獲取數據，但是我嘗試讀取的一些文件大小大約爲1 GB或更多。

我該如何使用python逐行讀取服務器上的文件？

附加信息：什麼是經常要做的就是運行一個「貓文件名」命令，並把結果保存在一個變量和工作過這一點。但由於這裏的文件相當大，我正在尋找一種逐行讀取文件的方式。

編輯：我可以讀取一組數據，並將其分割成線，但問題是，在緩衝區接收到的數據並不總是包含完整的生產線。例如，如果緩衝區有300行，最後一行可能只是服務器上一行的一半，下一半將在下次調用服務器時被取回。我想完整線

編輯2：我可以在一定範圍內使用的命令行打印在一個文件中。像打印前100行，然後下100個等等？這樣緩衝區將始終包含完整的行。

Answer 1

Paramiko'sSFTPClient類可以讓你得到一個類文件對象的Python化的方式從遠程文件讀取數據。

假設你有一個開放SSHClient：

Answer 2

你的「逐行」的意思 - 有大量的網絡主機之間的數據緩衝區，和他們都不是面向行的。

所以，你可以讀一組數據，那麼它在近端分割成線。或者你可以讓一個進程在遠端讀取一堆數據，分解並逐行格式化併發送給你。

scp process_standard_input.py otherhost 
ssh otherhost python process_standard_input.py somefile | do_process_locally 

我只關心的唯一區別是通過有限的網絡管道減少數據量。在你的情況下，它可能，也可能不重要。

有沒有錯，一般使用cat通過SSH管道移動千兆字節的數據。

Answer 3

#!/usr/bin/env python 
import paramiko 
import select 
client = paramiko.SSHClient() 
client.load_system_host_keys() 
client.connect('yourhost.com') 
transport = client.get_transport() 
channel = transport.open_session() 
channel.exec_command("cat /path/to/your/file") 
while True: 
    rl, wl, xl = select.select([channel],[],[],0.0) 
    if len(rl) > 0: 
     # Must be stdout 
     print channel.recv(1024) 

Answer 4

下面是一個擴展@Matt Good's answer：

from contextlib  import closing 
from fabric.network import connect 

with closing(connect(user, host, port)) as ssh, \ 
    closing(ssh.open_sftp()) as sftp, \ 
    closing(sftp.open('remote_filename')) as file: 
    for line in file: 
     process(line)