从字符串中删除无效的UTF-8字符

一尘不染

从字符串中删除无效的UTF-8字符

我在字符串列表的json.Marshal上得到这个：

json: invalid UTF-8 in string: "...ole\xc5\"

原因很明显，但是如何在Go中删除/替换这样的字符串？我一直在阅读docst unicode和unicode/utf8包，似乎没有明显/快速的方法。

例如，在Python中，您可以使用一些方法删除无效字符，将其替换为指定字符或严格设置，这会导致无效字符的异常。如何在Go中做等效的事情？

更新：我的意思是得到异常的原因（紧急？）-json.Marshal期望有效的UTF-8字符串中的非法char。

（非法字节序列如何进入该字符串并不重要，通常的方式-错误，文件损坏，其他不符合unicode的程序等）

阅读 277

2020-07-02

共1个答案

一尘不染

例如，

package main

import (
    "fmt"
    "unicode/utf8"
)

func main() {
    s := "a\xc5z"
    fmt.Printf("%q\n", s)
    if !utf8.ValidString(s) {
        v := make([]rune, 0, len(s))
        for i, r := range s {
            if r == utf8.RuneError {
                _, size := utf8.DecodeRuneInString(s[i:])
                if size == 1 {
                    continue
                }
            }
            v = append(v, r)
        }
        s = string(v)
    }
    fmt.Printf("%q\n", s)
}

输出：

"a\xc5z"
"az"

Unicode标准

常见问题解答-UTF-8，UTF-16，UTF-32和BOM

问：是否有UTF不会生成的字节序列？我应该如何解释它们？

答：没有一个UTF可以生成每个任意字节序列。例如，在UTF-8中，格式为110xxxxx2的每个字节必须后面跟随一个格式为10xxxxxx2的字节。诸如<110xxxxx2
0xxxxxxx2>之类的序列是非法的，并且绝不能生成。当在转换或解释时遇到此非法字节序列时，符合UTF-8的进程必须将第一个字节110xxxxx2视为非法终止错误：例如，发信号通知错误，过滤出该字节或用标记表示该字节例如FFFD（替换字符）。在后两种情况下，它将在第二个字节0xxxxxxx2处继续处理。

合格进程不得将非法或格式错误的字节序列解释为字符，但是，它可能会采取错误恢复措施。没有一致的过程可以使用不规则的字节序列来编码带外信息。

2020-07-02