实验内容与步骤1.从linux拷贝整个hadoop压缩jar包使用ForkLift将hadoop文件全部拷出来。将需要用到的jar包放在一起。（需要的是share/hadoop/common下的三个包，share/hadoop/common/lib文件下全部的包，以及share/hadoop/hdfs下的三个包，以及share/hadoop/hdfs/lib中的包）2

1.hadoophadoop2.0的HA机制官方介绍了有2种方式，一种是NFS（NetworkFileSystem）方式，另外一种是QJM（QuorumJournalManager）方式。高可用:单点故障hadoop_haJournalNodes集群activestandby修改一次元数据都会生成一条editslog，除了写入本地磁盘文件，还会写入JournalNodes集群nam

文章目录一、准备工作二、安装配置hadoop1.上传到集群2.解压3.配置环境变量4.修改core-site.xml配置文件5.修改hdfs-site.xml6.修改mapred-site.xml7.修改yarn-site.xml8.修改slaves三、将软件拷贝到所有节点四、启动（由上到下执行）1.启动zookeeper集群2.手动启动journaln

security_exception:missingauthenticationcredentialsforRESTrequest[/]nullCausedby:org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest:org.elasticsearch.hadoop.rest.EsHadoopRemoteException:security_exception:missingauthenticationcredent

编译：g++hello_world.cpp-I${HADOOP_HOME}/include-L${HADOOP_HOME}/libative-lhdfs-L${JAVA_HOME}/lib/server-ljvm最终运行Java程序，所以不仅需要hdfs的动态库，还需要jvm的库我安装的是openjdk11，11之后的版本取消了jre目录，重新整改了目录结构运行报错无法挂载动

rsync与scp的区别？rsync主要用于备份和镜像，具有速度快、避免复制相同内容和支持符号链接的优点。也就是说它只对差异文件进行更新，而scp是将整个文件都复制。基本语法：rsync-rvl用户名@主机名:地址用户名@主机名:地址例如：rsync-rvl/opt/software/root@hadoop02:/opt/softwar

在Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：1个JobTracker带多个TaskTracker；JobTracker：负责资源管理和作业调度；TaskTracker：定期向JobTracker汇报本节点的健康状况、资源使用情况以及任务的执行情况；接收来自JobTracker的命令（启动/杀死任务等）并执行接收到的命令;

工作需要，大数据相关组件又得重新搭建，整理了一下。序号主机名IP程序CPU内存磁盘操作系统1ambari.dev.smcaiot.com172.16.4.74Ambari4C24GB200GBCentOSLinuxrelease7.4.1708(Core)2master.dev.smcaiot.com172.16.4.74Master4C24GB200GBCentOSL

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时。才需要修改自定义配置文件，更改相应的返回值。（1）默认配置文件 （2）自定义配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml：四个配置文件的存放位置在$HADOOP_HOME:/etc/h

HadoopJavaAPI  热身WordCount新建Maven项目根据zookeeper和hadoop版本配置pom.xml，可用使用 echostat|nclocalhost2181 查看zookeeper版本<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"

如果文件系统是HDFS,两者是等价的。

一、上次课程回顾二、Linux基础命令三2.1、用户和用户组2.2、个人环境变量（.bashrc和.bash_profile的选择）和全局环境变量（/etc/profile）和别名的使用2.3、su和su-的区别2.4、/etc/passwd文件的重点剖析2.5、权限（chmod、chown）&&案例演示2.6、文件、文件夹查看大小2.7

什么是Hadoop？Hadoop是一个开源的Apache项目，通常用来进行大数据处理。Hadoop集群的架构：master节点维护分布式文件系统的所有信息，并负责调度资源分配，在Hadoop集群中node-master就是master的角色，其包括两个服务：NameNode:负责管理分布式文件系统，维护了数据块在集群中的存储信息；

sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。核心的功能有两个：导入、迁入。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统。导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等Sqoop的本质还是

Hadoop的安装与配置几个知识点：HDFS：底层，存储HBase：NOSQL列数据库MapReduce：编程模型，用于并行计算ZooKeeper：分布式应用程序协调服务Avro：数据序列化系统，设计用于支持大批数据交换的应用Pig：大数据分析工具Hive：数据仓库，依赖传统关系型数据库（行存储）Sqoop：数据导入导出模式

环境配置说明：软件版本VirtualBox6.1Ubuntu16.04Hadoop2.7.7MySql5.7.29MySql驱动5.1.46Hive2.3.6sqoop1.4.7一、hadoop集群配置以及HDFS命令学习参考依据：《python+spark2.0+hadoop机器学习与大数据实战》的第2到6章（这本书在网上一