UTF8 验证可以在 char[] 上完成，还是必须在原始字节 [] 上完成？

如何解决UTF8 验证可以在 char[] 上完成，还是必须在原始字节 [] 上完成？

我正在尝试验证我所摄取的文件都严格符合 UTF8，并且通过我的多次阅读，我得出的结论是，如果要正确完成验证，则必须使用原始的、未篡改的数据字节进行分析。如果在事后尝试查看字符串本身，他们不太可能发现是否有任何字符不符合 UTF8，因为 Java 会尝试转换它们。

我正在正常读取文件：我从文件中收到一个 InputStream，然后向它提供一个 InputStreamReader，然后将它提供给 BufferedReader。它看起来像：

InputStream is = new FileInputStream(fileLocation);
InputStreamReader isr = new InputStreamReader(is,StandardCharsets.UTF_8)));
BufferedReader br = new BufferedReader(isr);

我可以覆盖 BufferedReader 类，为它偶然发现的每个字符添加一些验证。

问题在于 BufferedReader 有一个 char[]，而不是 byte[]，用于缓冲区。这意味着字节会自动转换为字符。

那么，我的问题是：这个验证可以在位于 BufferedReader 的 char[] 级别完成吗？虽然我在这里有点“强制”UTF8：

InputStreamReader isr = new InputStreamReader(is,StandardCharsets.UTF_8)));

我看到字符从非 utf-8（例如 utf-16）转换为 utf-8，并破坏了一些系统。我不知道 char[] 对于这个验证来说基本上“太晚了”。是吗？

解决方法

定义 UTF-8 兼容。有 2 个事件可以合理地称为“无效”。 UTF-8 作为一种格式将 32 位数字转换为字节序列，并且不能转换任何数字，只能转换有限的集合（但可以转换所有可能出现在 unicode 中的数字）。

• 对不存在的字形的有效转换。

并非 UTF-8 可以存储的 32 位数字中的每一个都是有效的 unicode 代码点。但是，unicode 一直在扩展。今天无效的东西明天可能有效。除非您加载了整个 unicode 表，否则无法真正了解这些内容。

• 无效序列

通常在将字节转换为文本时（char、String、Reader、Writer、StringBuilder - 任何面向字符的东西），并且您尝试转换无效的字节序列时，您要么得到异常，要么进程处于宽松模式，失败将转换为一个字符，表示“这无效”。

如果发生异常，那么您不可能有一个字符数组（发生异常而不是返回一个字符数组）。如果没有，则您的字符中有该字形，因此只需搜索该字形即可。