微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

大数据XD 02 hadoop

Hadoop

HDFS :分布式存储

MapReduce: 分布式海量数据处理.

Hadoop 在企业中的应用

 

MR : MapReduce 的简称.

Apache Hadoop 版本 

 

Hadoop 2.0 架构与1.0版本差距很大.

 

 

还有一些 Hadoop 的商业版本, 别的公司出的, Hortonworks, cloudera (CDH), MapR

 

 

 

Hadoop 项目结构(生态)

 

 

Hive: 数据仓库, 满足企业决策分析的需求. (SQL -> 批量 MapReduce 作业)

Hbase: 非关系型分布式数据库.

Flume: 实时的日志收集

Sqoop: 数据库导入导出工具, ETL 工具.

Ambari: 在 Hadoop 安装和部署套件.

 

Hadoop 的安装

 

 

 

useradd -m hadoop -s /bin/bash

passwd hadoop

adduser hadoop sudo           (增加sudo 权限给 hadoop)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐