如何解决文件编码不稳定
我有一个旨在检测大文件编码的程序。 我试图通过从文件中采样一些数据(不想读取所有数据,因为它的大小)并检测样本编码来做到这一点,但我意识到它不是很稳定..
例如,我在 UTF-8
文件中看到此行为:
-
读取前 2000 个字节:UTF-8
-
读取前 4000 个字节:UTF-16
-
读取前 8000 个字节:再次UTF-8
对这种行为有什么解释吗?
谢谢!
[编辑]:
这是相关代码:
private static final List<String> encodings = Arrays.asList(StandardCharsets.UTF_8.name(),StandardCharsets.UTF_16.name(),StandardCharsets.UTF_16LE.name(),StandardCharsets.UTF_16BE.name());
private String tryDecodeMultipleEncodings(InputStream inputStream) throws IOException {
byte[] bytes = new byte[BUFFER_LENGTH];
inputStream.read(bytes);
return tryDecodeMultipleEncodings(bytes);
}
private String tryDecodeMultipleEncodings(byte[] buffer) throws CharacterCodingException {
for (String encoding : encodings) {
if (tryDecode(buffer,encoding)) {
return encoding;
}
}
// LOG.warn("Failed decoding input,tried [" + String.join(",",encodings) + "]");
throw new CharacterCodingException();
}
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。