如何將UTF-8 std :: string轉換爲UTF-16 std :: wstring？

Question

如果我有一個UTF-8 std::string我該如何將它轉換爲UTF-16 std::wstring？其實，我想比較兩個波斯語。

Answer 1

下面是一些代碼。只有輕微的測試，可能有一些改進。調用此函數將UTF-8字符串轉換爲UTF-16字符串。如果它認爲輸入字符串不是UTF-8，那麼它將引發異常，否則它將返回等效的UTF-16字符串。

std::wstring utf8_to_utf16(const std::string& utf8) 
{ 
    std::vector<unsigned long> unicode; 
    size_t i = 0; 
    while (i < utf8.size()) 
    { 
     unsigned long uni; 
     size_t todo; 
     bool error = false; 
     unsigned char ch = utf8[i++]; 
     if (ch <= 0x7F) 
     { 
      uni = ch; 
      todo = 0; 
     } 
     else if (ch <= 0xBF) 
     { 
      throw std::logic_error("not a UTF-8 string"); 
     } 
     else if (ch <= 0xDF) 
     { 
      uni = ch&0x1F; 
      todo = 1; 
     } 
     else if (ch <= 0xEF) 
     { 
      uni = ch&0x0F; 
      todo = 2; 
     } 
     else if (ch <= 0xF7) 
     { 
      uni = ch&0x07; 
      todo = 3; 
     } 
     else 
     { 
      throw std::logic_error("not a UTF-8 string"); 
     } 
     for (size_t j = 0; j < todo; ++j) 
     { 
      if (i == utf8.size()) 
       throw std::logic_error("not a UTF-8 string"); 
      unsigned char ch = utf8[i++]; 
      if (ch < 0x80 || ch > 0xBF) 
       throw std::logic_error("not a UTF-8 string"); 
      uni <<= 6; 
      uni += ch & 0x3F; 
     } 
     if (uni >= 0xD800 && uni <= 0xDFFF) 
      throw std::logic_error("not a UTF-8 string"); 
     if (uni > 0x10FFFF) 
      throw std::logic_error("not a UTF-8 string"); 
     unicode.push_back(uni); 
    } 
    std::wstring utf16; 
    for (size_t i = 0; i < unicode.size(); ++i) 
    { 
     unsigned long uni = unicode[i]; 
     if (uni <= 0xFFFF) 
     { 
      utf16 += (wchar_t)uni; 
     } 
     else 
     { 
      uni -= 0x10000; 
      utf16 += (wchar_t)((uni >> 10) + 0xD800); 
      utf16 += (wchar_t)((uni & 0x3FF) + 0xDC00); 
     } 
    } 
    return utf16; 
} 

Answer 2

有一些相關的Q & A here和here值得一讀。

基本上你需要將字符串轉換爲通用格式 - 我的首選項總是轉換爲UTF-8，但是你的里程可能會有所警惕。

已經有大量的軟件做轉換寫入 - 轉換爲straigth前鋒，可以在幾個小時內寫的 - 但爲什麼不pick up something already done such as the UTF-8 CPP

Answer 3

本頁面似乎也有用：http://www.codeproject.com/KB/string/UtfConverter.aspx

在該頁面的評論部分，也有這個任務像一些有趣的建議：

// Get en ASCII std::string from anywhere 
std::string sLogLevelA = "Hello ASCII-world!"; 

std::wstringstream ws; 
ws << sLogLevelA.c_str(); 
std::wstring sLogLevel = ws.str(); 

或者

// To std::string: 
str.assign(ws.begin(), ws.end()); 
// To std::wstring 
ws.assign(str.begin(), str.end()); 

雖然我不確定這些方法的有效性......

Answer 4

這是你如何與C++ 11做到這一點：

std::string str = "your string in utf8"; 
std::wstring_convert<std::codecvt_utf8_utf16<char16_t>> converter; 
std::wstring wstr = converter.from_bytes(str); 

而這些都是你需要的標題：

#include <iostream> 
#include <string> 
#include <locale> 
#include <codecvt> 

一個更完整的例子可以在這裏找到： http://en.cppreference.com/w/cpp/locale/wstring_convert/from_bytes