CRC文件校验
文件在下载的时候，除了需要下载的文件在外，生成一个crc的文件。
crc校验文件作用：用于校验下载的文件数据是否是完整的。校验数据的完整性
如何校验的：
数据的实际的块存储目录：
/home/hadoop/data/hadoopdata/dfs/data/current/BP-1178107398-192.168.2.111-1578828981899/current/finalized/subdir0/subdir0
如果有一个块是完整的，校验通过， 完整的块下载的。如果文件都损坏，则校验不通过。
案例：
package com.lee.crc;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TestCRC {
public static void main(String[] args) throws IOException {
System.setProperty("HADOOP_USER_NAME", "hadoop");
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://hadoop112:9000");
FileSystem fs= FileSystem.get(conf);
fs.copyToLocalFile(new Path("/jasper/redis-5.0.5.tar.gz"), new Path("E:\\testcrc"));
fs.close();
}
}
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。