如何将UTF-8字符串转换为Unicode？

一尘不染

如何将UTF-8字符串转换为Unicode？

我有显示UTF-8编码字符的字符串，我想将其转换回Unicode。

现在，我的实现如下：

public static string DecodeFromUtf8(this string utf8String)
{
    // read the string as UTF-8 bytes.
    byte[] encodedBytes = Encoding.UTF8.GetBytes(utf8String);

    // convert them into unicode bytes.
    byte[] unicodeBytes = Encoding.Convert(Encoding.UTF8, Encoding.Unicode, encodedBytes);

    // builds the converted string.
    return Encoding.Unicode.GetString(encodedBytes);
}

我在玩这个词"déjà"。我已经通过此在线工具将其转换为UTF-8
，因此我开始使用字符串测试我的方法"dÃ©jÃ"。

不幸的是，使用此实现，字符串就保持不变。

我哪里错了？

阅读 833

2020-05-19

共1个答案

一尘不染

因此，问题在于UTF-8代码单元值已作为16位代码单元序列存储在C＃中string。您只需要验证每个代码单元在一个字节的范围内，然后将这些值复制到字节中，然后将新的UTF-8字节序列转换为UTF-16。

public static string DecodeFromUtf8(this string utf8String)
{
    // copy the string as UTF-8 bytes.
    byte[] utf8Bytes = new byte[utf8String.Length];
    for (int i=0;i<utf8String.Length;++i) {
        //Debug.Assert( 0 <= utf8String[i] && utf8String[i] <= 255, "the char must be in byte's range");
        utf8Bytes[i] = (byte)utf8String[i];
    }

    return Encoding.UTF8.GetString(utf8Bytes,0,utf8Bytes.Length);
}

DecodeFromUtf8("d\u00C3\u00A9j\u00C3\u00A0"); // déjà

这很容易，但是最好找到根本原因。有人将UTF-8代码单元复制到16位代码单元的位置。可能的罪魁祸首是有人string使用错误的编码将字节转换为C＃。例如Encoding.Default.GetString(utf8Bytes, 0, utf8Bytes.Length)。

另外，如果您确定知道用于生成字符串的错误编码，并且正确的编码转换是无损的（通常情况下，如果错误的编码是单字节编码），则可以简单地进行逆编码步骤以获取原始UTF-8数据，然后您可以从UTF-8字节进行正确的转换：

public static string UndoEncodingMistake(string mangledString, Encoding mistake, Encoding correction)
{
    // the inverse of `mistake.GetString(originalBytes);`
    byte[] originalBytes = mistake.GetBytes(mangledString);
    return correction.GetString(originalBytes);
}

UndoEncodingMistake("d\u00C3\u00A9j\u00C3\u00A0", Encoding(1252), Encoding.UTF8);

2020-05-19