帶有BOM的UTF-8文件中第一行的長度

Question

下午好。假設我有一個帶有單個字母的utf-8文件，比如說「f」（no \ n和空格），我嘗試獲得一系列的行長度。

(with-open [rdr (reader "test.txt")] 
    (doall (map #(.length %) (line-seq rdr)))) 

我也得到

=> (2) 

爲什麼？有沒有優雅的方式來獲得第一個字符串的正確長度？

Answer 1

有關Java中BOM的問題，請參閱Reading UTF-8 - BOM marker。看來，它可以使用從Apache的共享BOMInputStream或者抽象掉它必須手動刪除，即

(defn debomify 
    [^String line] 
    (let [bom "\uFEFF"] 
    (if (.startsWith line bom) 
     (.substring line 1) 
     line))) 

(doall (map #(.length %) (.split (debomify (slurp "test.txt")) "\n"))) 

如果你想讀懶洋洋地使用line-seq文件，例如，因爲它是巨大的，你要像對待第一行使用debomify。其餘的可以正常讀取。因此：

(defn debommed-line-seq 
    [^java.io.BufferedReader rdr] 
    (when-let [line (.readLine rdr)] 
    (cons (debomify line) (lazy-seq (line-seq rdr)))))