0
我正在構建一個nodejs網絡爬蟲,但我遇到了一些charset問題。不同的網站有不同的字符集,如UTF-8,windows-1252,iso-8859-1等。Node.js請求charset問題
如何調整我的請求以將所有不同於UTF-8的字符集轉換爲UTF-8?因爲如果我什麼都不做,只是用cheerio來解析內容,我會得到像「ib rica」這樣的奇怪符號,其中「 」應該是「é」
我正在構建一個nodejs網絡爬蟲,但我遇到了一些charset問題。不同的網站有不同的字符集,如UTF-8,windows-1252,iso-8859-1等。Node.js請求charset問題
如何調整我的請求以將所有不同於UTF-8的字符集轉換爲UTF-8?因爲如果我什麼都不做,只是用cheerio來解析內容,我會得到像「ib rica」這樣的奇怪符號,其中「 」應該是「é」
還有iconv(需要編譯)和iconv-lite(不需要編譯)用於在節點中的字符集之間進行轉換。