一、HDFS概述
1.1、HDFS产出背景及定义
1.1.1、HDFS产生背景
随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。
1.1.2、HDFS定义
Hadoop(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。
HDFS的使用场景:适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数据分析,并不适合用来做网盘应用。
1.2、HDFS 优缺点
1.2.1、优点
(1)高容错性
1️⃣ 数据自动保存多个副本。它通过增加副本的形式,提高容错性。
2️⃣ 某一个副本丢失以后,它可以自动回复。
(2)适合处理大数据
1️⃣ 数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据;
2️⃣ 文件规模:能够处理百万规模以上的文件数量,数量相当之大。
(3)可构建在廉价机器上,通过多副本机制,提高可靠性。
原文地址:https://www.cnblogs.com/harleyblogs/p/16600669.html
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。