掌握大数据--Hive全面指南

分类：大数据作者：学徒纪祥

  • 1.Hive简介
  • 2.Hive部署方式
  • 3.Hive的架构图
  • 4.Hive初体验
  • 5.Hive SQL语法--DDL操作数据库

1.Hive简介

Apache Hive是建立在Hadoop之上的一个数据仓库工具，它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop分布式文件系统（HDFS）中的大规模结构化数据。以下是Hive的一些主要特点和介绍：

1. 类SQL查询语言： HiveSQL是Hive的查询语言，它类似于传统数据库中的SQL。这使得对Hadoop中的数据执行查询变得更加容易，尤其是对那些熟悉SQL的用户。

2. 数据仓库和ETL工具： Hive被设计为一种数据仓库工具，适用于大规模数据的存储、查询和分析。它还可以用作ETL（Extract,Transform,Load）工具，支持将数据从不同来源导入到Hadoop中。

3. 扩展性： Hive是建立在Hadoop生态系统之上的，因此可以轻松扩展到大规模的数据集。它利用Hadoop的分布式计算能力，可以处理PB级别的数据。

4. Hive表和分区： Hive中的数据组织成表，并且可以根据需要进行分区。这使得对大型数据集进行更有效的管理和查询成为可能。

5. 元数据存储： Hive使用元数据存储来跟踪表、分区和其他元素的信息。这些元数据存储在关系型数据库中（默认是Derby），并可由Hive管理器访问。

6. 用户自定义函数（UDF）： Hive允许用户编写自定义函数，以满足特定的数据处理需求。这使得Hive可以通过用户定义的函数进行更高级的数据处理。

7. 优化和执行计划： Hive执行计划使用MapReduce来处理查询，但Hive也支持其他执行引擎，例如Tez。优化器在执行计划中进行优化，以提高查询性能。

8. 集成其他工具： Hive可以与其他Hadoop生态系统工具集成，例如Apache HBase、Apache Spark等，以实现更丰富的数据处理和分析功能。

总体而言，Apache Hive是一个强大的工具，使得在Hadoop平台上执行SQL样式的查询变得更加容易，同时提供了对大规模结构化数据的存储和处理的能力。

什么是分布式SQL?

通过分布式的方式,执行SQL语句,获取分析结果.

为啥要学Apache Hive呢?

  1. 通过Java 或者 Python直接操作MapReduce,也可以做分析,但是开发难度稍大.举例在SQL中计算表数据中有多少个‘word’这个单词只需要轻飘飘的一个selece查询一行代码即可，但是在Java，Python这种语言中却需要很多行代码才能完成，所以通过SQL做分析,相对简单易上手

  2. Apache Hive就是让我们写类SQL语法,然后Hive底层会将其解析成MR来执行

总结

  • 以后你只要写HiveSQL语法就可以了,Hive会将其自动转成MR任务,交由Yarn来调度执行.

  • Hive是依赖Hadoop的,想使用Hive,必须先搭建和启动Hadoop集群.

2.Hive部署方式

  • Hive的部署

    • Hive是一款单机工具,只需要部署到一台服务器上即可. 它底层会将HQL解析成MR任务,分布式执行.

  • 启动Hive服务

-- 1. 启动Hadoop集群,只在node1机器执行即可.
[root@node1 ~]# start-all.sh

-- 2. 启动历史服务,只在node1机器执行即可.
[root@node1 ~]# mr-jobhistory-daemon.sh start historyserver

-- 3. 分别在node1,node2,node3三台机器中,执行jps命令,查看启动的Hadoop集群节点.
[root@node1 ~]# jps

-- 4. 启动hive的metastore(元数据管理服务),因为目前没有配置path环境变量,需要到hive目录下执行.
[root@node1 ~]# cd /export/server/hive/bin
[root@node1 bin]# ll
总用量 48
-rwxr-xr-x 1 root root   881 8月  23 2019 beeline          -- Hive的第2代客户端
drwxr-xr-x 3 root root  4096 10月 24 2021 ext      
-rwxr-xr-x 1 root root 10158 8月  23 2019 hive             -- Hive的第1代客户端
-rwxr-xr-x 1 root root  1900 8月  23 2019 hive-config.sh
-rwxr-xr-x 1 root root   885 8月  23 2019 hiveserver2
-rwxr-xr-x 1 root root   880 8月  23 2019 hplsql
-rwxr-xr-x 1 root root  3064 8月  23 2019 init-hive-dfs.sh
-rwxr-xr-x 1 root root   832 8月  23 2019 metatool
-rw------- 1 root root  3015 1月   7 18:49 nohup.out
-rwxr-xr-x 1 root root   884 8月  23 2019 schematool

-- 4.1 前台方式,启动metastore服务
[root@node1 bin]# ./hive --service metastore	-- 启动之后,当前窗口就被占用了.

-- 4.2 后方方式,启动metastore服务,不占用当前窗口
[root@node1 bin]# nohup ./hive --service metastore &
[root@node1 bin]# jps -m	-- 查看本机和Java相关的进程(详细信息)
3825 ResourceManager
4787 RunJar /export/server/hive/lib/hive-metastore-3.1.2.jar org.apache.hadoop.hive.metastore.HiveMetaStore
4949 Jps -m
3974 NodeManager
3239 NameNode
4459 JobHistoryServer
3389 DataNode
[root@node1 bin]#

3.Hive架构图

  • Hive的本质

  • Hive的架构图

 4.Hive初体验

第一代客户端

[root@node1 bin]# ./hive		-- 之后就可以写HiveSQL代码了.
hive> show databases;		-- 查看所有数据库.
OK
default
Time taken: 0.458 seconds,Fetched: 1 row(s)

hive> create database day05;	-- 创建day05数据库
OK
Time taken: 0.785 seconds

hive> show databases;			-- 查看所有数据库
OK
day05
default
Time taken: 0.03 seconds,Fetched: 2 row(s)

hive> use day05;				-- 切库
OK
Time taken: 0.031 seconds

hive> show tables;				-- 查看day05数据库中所有的数据表
OK
Time taken: 0.034 seconds

hive> create table test(id int,name string,gender string);	-- 建表
OK
Time taken: 0.387 seconds

hive> show tables;				-- 查看day05数据库中所有的数据表
OK
test
Time taken: 0.024 seconds,Fetched: 1 row(s)

hive> select * from test;		-- 查看表数据
OK
Time taken: 1.371 seconds

-- 添加表数据,底层会将该SQL转成MR任务来执行.
hive> insert into test values(1,'zhangsan','male'),(2,'lisi','female');	
OK
Time taken: 24.651 second

hive> select * from test;		-- 查看表数据
OK
Time taken: 1.371 seconds

第二代客户端

-- 1. 切换到hive的bin目录下
[root@node1 ~]# cd /export/server/hive/bin

-- 2. 启动hiveserver2服务(需要2~3分钟),确保你已经成功启动Hadoop集群和metastore服务.
[root@node1 bin]# nohup ./hive --service hiveserver2 &

-- 3. 查看进程是否启动.
[root@node1 bin]# jps -m
3825 ResourceManager
4787 RunJar /export/server/hive/lib/hive-metastore-3.1.2.jar org.apache.hadoop.hive.metastore.HiveMetaStore
3974 NodeManager
3239 NameNode
5833 RunJar /export/server/hive/lib/hive-service-3.1.2.jar org.apache.hive.service.server.HiveServer2 --hiveconf hive.aux.jars.path=file:///export/server/hive/conf/lib
4459 JobHistoryServer
5964 Jps -m
3389 DataNode

-- 4. 查看hiveserver2服务是否初始化完毕.
[root@node1 bin]# lsof -i:10000
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    5833 root  523u  IPv6 123970      0t0  TCP *:ndmp (LISTEN)

-- 至此,Hive服务启动完毕.
--然后启动第二代客户端
-- 1. 切换到hive的bin目录下
[root@node1 ~]# cd /export/server/hive/bin

-- 2. 启动第2代客户端
[root@node1 ~]# ./beeline		-- 敲回车
beeline> !connect jdbc:hive2://node1:10000	-- 敲回车
Connecting to jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: root	-- 输入账号(可以任意写),敲回车
Enter password for jdbc:hive2://node1:10000: 		-- 不用输入,直接敲回车.
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://node1:10000> -- 可以在这里直接写HiveSQL语句了.
0: jdbc:hive2://node1:10000> show databases;
0: jdbc:hive2://node1:10000> use day05;
0: jdbc:hive2://node1:10000> show tables;
0: jdbc:hive2://node1:10000> select * from test;
+----------+------------+--------------+
| test.id  | test.name  | test.gender  |
+----------+------------+--------------+
| 1        | zhangsan   | male         |
| 2        | lisi       | female       |
+----------+------------+--------------+

5.HiveSQL语法

 DDL操作数据库

在正式使用Hive之前,务必确保你的环境是OK,即: 以后你每天开启虚拟机之后,需要做的事情是:
    1. 在node1中启动 hadoop环境,历史任务服务,metastore服务,hiveserver2服务.
    2. 查看hiveserver2服务是否成功启动,如果OK,则用DataGrip直连Hive即可,这样就能写HiveSQL语句了.

-- 1. 查看所有的数据库.
show databases ;
-- 2. 切换数据库.
show databases ;
-- 3. 创建数据库,默认是存储到: HDFS的 /user/hive/warehouse/数据库名.db 这里.
create database day06;      -- 如果重复执行会报错.
create database if not exists day06;      -- 如果day06数据库不存在,我们再创建. 存在就什么都不操作.
-- 4. 创建数据库的时候,指定数据库在HDFS上的存储位置.
create database day07 location '/aa';          -- 引号中写的是 HDFS的路径
-- 5. 查看具体的数据库.
show create database day07;     -- 查看数据库的简单信息.
desc database day07;            -- 查看数据库的详细详细.
-- 6. 切换到day07数据库,创建1个表,我们看看.
use day07;
create table stu(id int,name string);
-- 7. 删除数据库.
drop database day06;            -- 因为是空库,所以会直接删除.
drop database day07 cascade;   -- 如果要删除的数据库不是空库,则后续加上cascade关键字,会连同数据库,表一起删除.

那么文章到此截止，不足之处请各位大佬多多指教

愿你在大数据的海洋中航行顺风，发现属于你的数据宝藏！

原文地址：https://blog.csdn.net/jixiangendless/article/details/135485421

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

MySQL安装与环境搭建——超详细教程
文章浏览阅读5.3k次，点赞10次，收藏39次。本章详细写了mysql的安装，环境的搭建以及安装时常见的问题和解决办法。_mysql安装及配置超详细教程
大数据编程期末大作业2023
文章浏览阅读1.8k次，点赞50次，收藏31次。本篇文章讲解Spark编程基础这门课程的期末大作业，主要围绕Hadoop基本操作、RDD编程、SparkSQL和SparkStreaming编程展开。_直接将第4题的计算结果保存到/user/root/lisi目录中lisipi文件里。
ES查询常用语法
文章浏览阅读7.8k次，点赞9次，收藏34次。ES查询常用语法目录1. ElasticSearch之查询返回结果各字段含义2. match 查询3. term查询4. terms 查询5. range 范围6. 布尔查询6.1 filter加快查询效率的原因7. boosting query(提高查询)8. dis_max(最佳匹配查询）9. 分页10. 聚合查询【内含实际的demo】_es查询语法
大数据毕设项目 - opencv python 深度学习垃圾图像分类系统
文章浏览阅读928次，点赞27次，收藏18次。
【愚公系列】2024年02月 大数据教学课程 021-zookeeper的使用
文章浏览阅读1.1k次，点赞24次，收藏24次。作用描述分布式协调和一致性协调多个节点的活动，确保一致性和顺序。实现一致性、领导选举、集群管理等功能，确保系统的稳定和可靠性。高可用性和容错性Zookeeper是高可用的分布式系统，通过多个节点提供服务，容忍节点故障并自动进行主从切换。作为其他分布式系统的高可用组件，提供稳定的分布式协调和管理服务，保证系统的连续可用性。配置管理和动态更新作为配置中心，集中管理和分发配置信息。通过订阅机制，实现对配置的动态更新，以适应系统的变化和需求的变化。分布式锁和并发控制。
【知识整理】产研中心岗位评定标准之大数据岗位
文章浏览阅读1.5k次，点赞26次，收藏29次。为贯彻执行集团数字化转型的需要,该知识库将公示集团组织内各产研团队不同角色成员的职务“职级”岗位的评定标准;
【愚公系列】2024年02月 大数据教学课程 020-Hadoop的安装
文章浏览阅读1.2k次，点赞26次，收藏28次。在安装Hadoop之前，需要进行以下准备工作：确认操作系统：Hadoop可以运行在多种操作系统上，包括Linux、Windows和Mac OS等。选择适合你的操作系统，并确保操作系统版本符合Hadoop的要求。安装Java环境：Hadoop是基于Java开发的，因此需要先安装和配置Java环境。确保已经安装了符合Hadoop版本要求的Java Development Kit (JDK)，并设置好JAVA_HOME环境变量。确认硬件要求：Hadoop是一个分布式系统，因此需要多台计算机组成集群。
大数据毕设分享 基于大数据的K-means广告效果分析
文章浏览阅读974次，点赞19次，收藏24次。# 基于大数据的K-means广告效果分析毕业设计 基于大数据的K-means广告效果分析。
大数据与Hadoop入门理论
文章浏览阅读1.7k次，点赞6次，收藏10次。Hadoop入门理论
农业病虫害数据集与算法——调研整理
文章浏览阅读1.3w次，点赞28次，收藏232次。通过博客和文献调研整理的一些农业病虫害数据集与算法。_病虫害数据集
大数据之zookeeper选举机制
文章浏览阅读699次，点赞22次，收藏7次。ZooKeeper使用的是Zab（ZooKeeper Atomic Broadcast）协议，其选举过程基于一种名为Fast Leader Election（FLE）的算法进行。：每个参与选举的ZooKeeper服务器称为一个“Follower”或“Candidate”，它们都有一个唯一的标识ID（通常是一个整数），并且都知道集群中其他服务器的ID。总之，ZooKeeper的选举机制确保了在任何时刻集群中只有一个Leader存在，并通过过半原则保证了即使部分服务器宕机也能维持高可用性和一致性。
【大数据开发运维解决方案】Informatica 9.6.1+ORACLE11G+WIN10安装过程
文章浏览阅读10w+次，点赞62次，收藏73次。informatica 9.x是一款好用且功能强大的数据集成平台，主要进行各类数据库的管理操作，是使用相当广泛的一款ETL工具(注: ETL就是用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)到目的端的过程)。本文主要为大家图文详细介绍Windows10下informatica powercenter 9.6.1安装与配置步骤。文章到这里就结束了，本人是在虚拟机中装了一套win10然后在此基础上测试安装的这些软件，因为工作学习要分开嘛哈哈哈。！！！！！_informatica客户端安装教程
111个Python数据分析实战项目，代码已跑通，数据可下载
文章浏览阅读7.8w次，点赞245次，收藏2.9k次。111个Python数据分析实战项目，代码已跑通，数据可下载_python数据分析项目案例
【大数据基础平台】星环TDH社区集群版本部署
文章浏览阅读1.9k次，点赞61次，收藏64次。TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新，已帮助数千家行业客户利用大数据平台构建核心商业系统，加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值，依托于TDH强大的技术底座，星环科技推出TDH社区版（Transwarp Data Hub Community Edition）版本，致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境，轻松应对各类人员数据分析需求。_星环tdh没有hive
大数据毕设分享 python图像检索系统设计与实现
文章浏览阅读836次，点赞21次，收藏19次。
大数据就业方向-（工作）ETL开发
文章浏览阅读1k次，点赞21次，收藏15次。主要介绍ETL相关工作的一些概念和需求点
ssm博物馆线上导览系统--64574 (免费领源码、附论文）可做计算机毕业设计JAVA、PHP、爬虫、APP、小程序、C#、C++、python、数据可视化、大数据、全套文案
文章浏览阅读1.4k次。本文以Android、java为开发技术，实现了一个基于Android的博物馆线上导览系统 app。基于Android的博物馆线上导览系统 app的主要使用者分为管理员和用户，app端：首页、菜谱信息、甜品信息、交流论坛、我的，管理员：首页、个人中心、用户管理、菜谱信息管理、菜谱分类管理、甜品信息管理、甜品分类管理、宣传广告管理、交流论坛、系统管理等功能。通过这些功能模块的设计，基本上实现了整个博物馆线上导览的过程。
业务智能的未来趋势：AI与大数据的融合
文章浏览阅读897次，点赞19次，收藏26次。1.背景介绍在当今的数字时代，数据已经成为企业和组织中最宝贵的资源之一。随着互联网、移动互联网和物联网等技术的发展，数据的产生和收集速度也急剧增加。这些数据包括结构化数据(如数据库、 spreadsheet 等)和非结构化数据(如文本、图像、音频、视频等)。这些数据为企业和组织提供了更多的信息和见解，从而帮助他们做出更明智的决策。业务智能(Business Intelligence，BI)...
架构设计内容分享(二百一十)：设计一个大并发、大数据的系统架构，说说设计思路
文章浏览阅读932次，点赞22次，收藏16次。也就是说，一个类应该对自己需要耦合或调用的类知道的最少，类与类之间的关系越密切，耦合度越大，那么类的变化对其耦合的类的影响也会越大，这也是我们面向对象设计的核心原则：低耦合，高内聚。优秀的架构和产品都是一步一步迭代出来的，用户量的不断增大，业务的扩展进行不断地迭代升级，最终演化成优秀的架构。其根本思想是强调了类的松耦合，类之间的耦合越弱，越有利于复用，一个处在弱耦合的类被修改，不会波及有关系的类。缓存，从操作系统到浏览器，从数据库到消息队列，从应用软件到操作系统，从操作系统到CPU，无处不在。
大数据毕设分享(含算法) 基于hadoop大数据教育可视化系统(源码+论文)
文章浏览阅读937次，点赞22次，收藏23次。大数据可视化是关于数据视觉表现形式的科学技术研究[9]，将数据转换为图形或图像在屏幕上显示出来，并进行各种交互处理的理论、方法和技术。将数据直观地展现出来，以帮助人们理解数据，同时找出包含在海量数据中的规律或者信息，更多的为态势监控和综合决策服务。数据可视化是大数据生态链的最后一公里，也是用户最直接感知数据的环节。数据可视化系统并不是为了展示用户的已知的数据之间的规律，而是为了帮助用户通过认知数据，有新的发现，发现这些数据所反映的实质。大数据可视化的实施是一系列数据的转换过程。
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot