在Common Lisp中讀取外部程序的二進制輸出

Question

我試圖在SBCL中運行外部程序並捕獲其輸出。 輸出是二進制數據（一個PNG圖像），而SBCL堅持把它解釋爲字符串。

我嘗試了許多方法，如

(trivial-shell:shell-command "/path/to/png-generator" :input "some input") 

(with-input-from-string (input "some input") 
    (with-output-to-string (output) 
    (run-program "/path/to/png-generator"() :input input :output output)) 


(with-input-from-string (input "some input") 
    (flexi-streams:with-output-to-sequence (output) 
    (run-program "/path/to/png-generator"() :input input :output output)) 

，但我得到這樣的錯誤

Illegal :UTF-8 character starting at byte position 0. 

在我看來，那SBCL試圖解釋二進制數據作爲文本和對其進行解碼。我如何改變這種行爲？我只感興趣獲取八位字節的向量。

編輯：由於從上面的文本不清楚，我想補充說，至少在flexi-stream的情況下，流的元素類型是flexi-streams:octect（這是一個(unsigned-byte 8)）。 我希望至少在這種情況下run-program讀取原始字節沒有太多問題。相反，我收到一條消息，如Don't know how to copy to stream of element-type (UNSIGNED-BYTE 8)

Answer 1

編輯：我生氣了，無法做到這一非常簡單的任務，並解決了問題。

從功能上講，將UNSIGNED-BYTE類型的流發送到運行程序並使其正常工作的能力受到嚴重限制，原因我不明白。我嘗試過灰色流，柔性流，fd流和其他一些機制，像你一樣。

但是，仔細閱讀運行程序的源代碼（第五次或第六次），我注意到有一個選項：您可以傳遞給輸出的STREAM。鑑於此，我想知道讀取字節是否會起作用......並且它確實如此。對於更高性能的工作，可以確定如何獲取非文件流的長度並在其上運行READ-SEQUENCE。

(let* 
     ;; Get random bytes 
     ((proc-var (sb-ext:run-program "head" '("-c" "10" "/dev/urandom") 
            :search t 
     ;; let SBCL figure out the storage type. This is what solved the problem. 
            :output :stream)) 
     ;; Obtain the streams from the process object. 
     (output (process-output proc-var)) 
     (err (process-error proc-var))) 
    (values 
    ;;return both stdout and stderr, just for polish. 
    ;; do a byte read and turn it into a vector. 
    (concatenate 'vector 
       ;; A byte with value 0 is *not* value nil. Yay for Lisp! 
       (loop for byte = (read-byte output nil) 
        while byte 
        collect byte)) 
    ;; repeat for stderr 
    (concatenate 'vector 
       (loop for byte = (read-byte err nil) 
        while byte 
        collect byte)))) 

Answer 2

如果你願意使用一些外部庫，這可以用babel-streams來完成。這是我用來安全地從程序中獲取內容的功能。我使用拉丁-1，因爲它將前256個字節映射到字符。你可以刪除八位字節到字符串，並有矢量。

如果你想要stderr，你可以使用嵌套的'with-output-to-sequence'來獲得兩者。

(defun safe-shell (command &rest args)                           
    (octets-to-string                                
    (with-output-to-sequence (stream :external-format :latin-1)                     
    (let ((proc (sb-ext:run-program command args :search t :wait t :output stream)))                
     (case (sb-ext:process-status proc)                           
     (:exited (unless (zerop (sb-ext:process-exit-code proc))                     
        (error "Error in command")))                         
     (t (error "Unable to terminate process")))))                        
    :encoding :latin-1))                               

Answer 3

保羅彌敦道已經給了一個相當完整的答案，如何從程序二進制讀取I/O，所以我就補充爲什麼你的代碼沒有工作：因爲你明確要求 SBCL使用with-{in,out}put-to-string將I/O解釋爲一串UTF-8字符。

此外，我想指出，您不需要遠達run-program的源代碼即可找到解決方案。這清楚地記錄在SBCL's manual。