很开心，今天在搭建Hive的时候，遇到一个错误，如下

承接https://www.cnblogs.com/jzsg/p/12622214.htmlmvmapred-site.xml.templatemapred-site.xml//基于YARN的资源调度配置vietc/hadoop/mapred-site.xml:<configuration><property><name>mapreduce.framework.name<ame>&

ideahadoop插件注意事项hadoop2.0成功的点击测试反应不对，应该点击确认，然后再点击连接配置的core-site应该是真实ip地址不应该是localhostenterdescriptionhere

1.安装jdk    Linux下安装jdk-7u67-linux-x64.rpm2.免密登录  ssl免密登录（centos6）3.同步时间：date-s"2020-04-0512:00:00"4.配置Hadoop在Hadoop伪分布式安装的基础上修改配置4.1.在Hadoop伪分布式安装里面已经修改了Hadoop的环境变量，现在修改node1的core-

首先卸载Centos本身自带的openjdk，我参考的这位博主的安装教程https://www.cnblogs.com/happyflyingpig/p/8068020.html我参考的是这位博主的安装教程https://blog.csdn.net/frank409167848/article/details/80968531注意：如果是以root用户安装环境时，这里的JAVA_HOM

Hadoop是什么Hadoop是一个开源软件框架，用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储，巨大的处理能力以及处理几乎无限的并发任务或作业的能力。Hadoop是一个由Apache基金会所开发的分布式系统基础架构主要解决海量数据的存储和海量数据的分

一、简介Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。解决的问题：（1）海量数据的存储[HDFS]（2）海量数据的分析[MapReduce]（3）资源管理调度[YARN]二、hadoop架构在其核心，Hadoop主要有两个层次，即：加工/计算层(MapReduce)

Hadoop_MapReduce压缩案例在map输出端压缩修改Hadoop_WordCount单词统计工程只需要修改MyWordCount的main方法即可：packagecom.blu.mywordcount;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.

sed-i's/#auth\t\trequired\tpam_wheel.so/auth\t\trequired\tpam_wheel.so/g''/etc/pam.d/su'cp/etc/login.defs/etc/login.defs_bakecho"SU_WHEEL_ONLYyes">>/etc/login.defsgpasswd-ahadoopwheelcat/etc/hosts192.

MAP：映射、变换、过滤1进N出Reduce：分解、缩小、归纳一组进N出（KEY,VALUE）：键值对的键划分数据分组MapReduce流程图MapTask1.切片会格式化，然后调用map方法2.map的输出要映射成KV，KV会参与分区计算，算出分区号P，最终输出（K,V,P）到buffer区（buffer默认是100M，阈值为80%）3.buf

1.Hive底层执行引擎支持:MR/Tez/Spark2.统一元数据管理:Hive数据是存放在HDFS元数据信息(记录数据的数据)是存放在MySQL中SQLonHadoop:Hive、SparkSQL、impala....3.Hive体系架构client:shell、thrift/jdbc(server/jdbc)、WebUI(HUE/Zeppelin)metastore:==>MyS

如果要问最近几年，IT行业哪个技术方向最火?一定属于ABC，即AI+BigData+Cloud，也就是人工智能、大数据和云计算。这几年，随着互联网大潮走向低谷，同时传统企业纷纷进行数字化转型，基本各个公司都在考虑如何进一步挖掘数据价值，提高企业的运营效率。在这种趋势下，大数据技术越来越重要

在安装好hadoop集群并成功的启动了hdfs之后，我们就可以利用hdfs对文件进行操作了，一下是对文件的一些基本操作hdfs基本操作1、查询命令hadoopdfs-ls/  查询/目录下的所有文件和文件夹hadoopdfs-ls-R以递归的方式查询/目录下的所有文件2、创建文件夹hado

     

伪分布式安装：启动HDFS和YARN    参考Apache官网伪分布式的配置和启动一、启动HDFS1、配置etc/hadoop/core-site.xml查看hadoop目录命令：[root@hadoop01hadoop­2.7.3]#cd./etc/hadoop/命令：[root@hadoop01hadoop]#ll 配置hadoop默认服务访问名，localhost代表

1YARN产生背景MapReduce1.x==>MapReduce2.xmaster/slave:JobTracker/TaskTrackerJobTracker：单点、压力大仅仅只能够支持mapreduce作业资源利用率所有的计算框架运行在一个集群中，共享一个集群的资源，按需分配！2YARN关键字解释ResourceManager-->R