大数据Presto二：Presto安装搭建

分类：大数据作者：Lanson

Presto安装搭建

一、Presto Server安装

Presto的安装搭建可以参照官网：

https://prestodb.io/docs/current/installation/deployment.html#installing-presto

详细步骤如下：

1、 划分节点

节点IP

节点名称

角色

192.168.179.6

node3

coordinator

192.168.179.7

node4

worker

192.168.179.8

node5

worker

2、首先下载Presto Server

下载地址：https://prestodb.io/download.html

这里下载最新版本为“presto-server-0.276”，下载完成之后是一个tar包：“presto-server-0.276.tar.gz”。

本次教程使用的版本是“presto-server-0.259.tar.gz”

下载地址：Release 0.259 — Presto 0.277 Documentation

3、上传安装包，解压

将以上下载好的Presto Server 上传到node3节点上“/software”目录下，解压并修改名称：

[root@node3 software]# tar -zxvf ./presto-server-0.259.tar.gz
[root@node3 software]# mv presto-server-0.259 presto-0.259

4、创建”data”目录

在node3节点“/software/presto-0.259”目录下，创建“data”目录，此目录后面配置存放presto的日志数据及临时数据。

[root@node3 ~]# mkdir /software/presto-0.259/data

5、创建“etc”目录

在node3节点“/software/presto-0.259”目录下，创建“etc”目录，此目录存放presto数据源配置信息。

[root@node3 ~]# mkdir /software/presto-0.259/etc

以上目录中的需要配置的配置文件有：

  • node.properties:配置每个节点的配置信息
  • jvm.config:关于JVM内存配置信息。
  • config.properties:Presto Server配置信息
  • catalog.preperties:配置Presto的数据源Connector信息。

6、配置node.properties 

在node3“/software/presto-0.259/etc”目录下创建node.properties并配置：

[root@node3 ~]# cd /software/presto-0.259/etc/
[root@node3 etc]# vim node.properties
#配置内容如下
#环境的名称。集群中的所有Presto节点必须具有相同的环境名称。
node.environment=production
#每个节点的id,presto每个节点都必须有不同的节点id
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff1
#临时数据和目录的位置
node.data-dir=/software/presto-0.259/data

7、配置jvm.config

在node3“/software/presto-0.259/etc”目录下创建jvm.config并配置：

[root@node3 ~]# cd /software/presto-0.259/etc/
[root@node3 etc]# vim jvm.properties
#配置内容如下
-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

8、配置config.properties

在node3“/software/presto-0.259/etc”目录下创建config.properties，此配置文件主要配置哪些节点是coordinator和worker节点，配置如下：

[root@node3 ~]# cd /software/presto-0.259/etc/
[root@node3 etc]# vim config.properties
#配置的内容如下
#指定当前节点是否是coordinator节点，true是coordinator节点，false是worker节点
coordinator=true
#是否将当前coordinator节点当做worker，如果节点既是coordinator又是worker节点会影响当前节点性能
node-scheduler.include-coordinator=false
#Presto服务器的端口
http-server.http.port=8080
#查询使用集群中最大的内存量
query.max-memory=50GB
#每台节点使用最大用户内存量，用户内存用于：join,agg聚合等。
query.max-memory-per-node=1GB
#每台节点使用的最大用户内存和系统内存量，系统内存用于input/output/exchange buffers等
query.max-total-memory-per-node=2GB
#使用Discovery来发现集群中所有worker节点
discovery-server.enabled=true
#连接Discovery使用的URI,由于是内嵌，与coordinator的节点端口一致
discovery.uri=http://node3:8080

9、配置Hive数据源

由于启动Presto后，需要通过Connector连接数据源来显示数据，所以这里先配置下Hive数据源Connector。在node3“/software/presto-0.259/etc”目录下创建“catalog”目录，在此目录下创建hive.properties,并写入：

connector.name=hive-hadoop2
hive.metastore.uri=thrift://node1:9083
hive.config.resources=/software/hadoop-2.9.2/etc/hadoop/core-site.xml,/software/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

10、将Presto安装包分发到node4,node5节点上并配置

[root@node3 ~]# scp -r /software/presto-0.259/ node4:/software/
[root@node3 ~]# scp -r /software/presto-0.259/ node5:/software/
  • 修改node4节点“/software/presto-0.259/etc/node.properties”：
#环境的名称。集群中的所有Presto节点必须具有相同的环境名称。
node.environment=production
#每个节点的id,presto每个节点都必须有不同的节点id
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff2
#临时数据和目录的位置
node.data-dir=/software/presto-0.259/data
  • 修改node4节点“/software/presto-0.259/etc/config.properties”，写入：
#指定当前节点是否是coordinator节点，true是coordinator节点，false是worker节点
coordinator=false
#Presto服务器的端口
http-server.http.port=8080
#查询使用集群中最大的内存量
query.max-memory=50GB
#每台节点使用最大用户内存量，用户内存用于：join,agg聚合等。
query.max-memory-per-node=1GB
#每台节点使用的最大用户内存和系统内存量，系统内存用于input/output/exchange buffers等
query.max-total-memory-per-node=2GB
#连接Discovery使用的URI,由于是内嵌，与coordinator的节点端口一致
discovery.uri=http://node3:8080
  • 修改node5节点“/software/presto-0.259/etc/node.properties”：
#环境的名称。集群中的所有Presto节点必须具有相同的环境名称。
node.environment=production
#每个节点的id,presto每个节点都必须有不同的节点id
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff3
#临时数据和目录的位置
node.data-dir=/software/presto-0.259/data
  • 修改node5节点“/software/presto-0.259/etc/config.properties”，写入：
#指定当前节点是否是coordinator节点，true是coordinator节点，false是worker节点
coordinator=false
#Presto服务器的端口
http-server.http.port=8080
#查询使用集群中最大的内存量
query.max-memory=50GB
#每台节点使用用户的最大内存量
query.max-memory-per-node=1GB
#每台节点使用用户和系统的最大内存量，没有单独配置，与上面一样
query.max-total-memory-per-node=2GB
#连接Discovery使用的URI,由于是内嵌，与coordinator的节点端口一致
discovery.uri=http://node3:8080

11、启动HDFS，启动Hive元数据

[root@node1 ~]# hive --service metastore &

12、启动/停止Presto Server

分别在node3,node4,node5节点上启动Presto Server，启动可以采用前台方式，日志会打印到控制台，也可以采用后台方式启动Presto，日志存放在“/software/presto-0.259/data/var/log”路径下。

#前台启动，如果停止直接ctrl+c
[root@node3 ~]# /software/presto-0.259/bin/launcher run
[root@node4 ~]# /software/presto-0.259/bin/launcher run
[root@node5 ~]# /software/presto-0.259/bin/launcher run

#后台启动/停止
[root@node3 ~]# /software/presto-0.259/bin/launcher start/stop
[root@node4 ~]# /software/presto-0.259/bin/launcher start/stop
[root@node5 ~]# /software/presto-0.259/bin/launcher start/stop

以上安装好了presto的服务端，也配置了Hive Connector,现在还不能查询数据，需要安装Presto的客户端才可以查询。

13、查看webui

启动完成之后，可以登录“node3:8080”查看presto WebUI监控页面信息：

二、​​​​​​​​​​​​​​Presto 命令行cli安装

 Presot cli 就是交互式的查询shell窗口，方便写SQL查询Presto数据。安装Presto 命令行 cli步骤如下：

1、下载jar包

在https://prestodb.io/download.html下载Presto cli对应的jar包，下载后为：presto-cli-0.259-executable.jar。

2、上传jar包，修改名称，并赋值权限

将下载好的jar包，上传到node3,node4,node5任意节点任意目录，这里上传到node3“/software/presto-0.259”目录下，修改jar包名称为“presto”并赋权限。

[root@node3 ~]# cd /software/presto-0.259/
[root@node3 presto-0.259]# mv presto-cli-0.259-executable.jar presto
[root@node3 presto-0.259]# chmod +x presto

3、启动Presto cli

在node3上执行如下命令：

[root@node3 ~]# cd /software/presto-0.259/
[root@node3 presto-0.259]# ./presto --server node3:8080 --catalog hive --schema default

注意：--server执行连接Presto的coordinator节点，--catalog指定连接hive，这里写的名字和“/software/presto-0.259/etc/catalog”路径中配置的properties名称保持一致。--schema 指定连接Hive的哪个库。

执行如下查询命令：

#查看Hive中的库
presto:default> show schemas;

#查看表
presto:default> show tables;

#查询数据
presto:default> select * from to_song_info_d limit 20;

#退出客户端
presto:default> quit;

注意：在presto中显示结果时使用了分页，不是一次性将所有结果都显示出来，按上下箭头可以查看所有数据结果或者按空格键进行翻页查看,若想要向前向后翻页，可以按键盘上的“page up”和“page down”，按“q”可以退出查询。

原文地址：https://cloud.tencent.com/developer/article/2135230

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

httpsNode.js网络安全

相关推荐

MySQL安装与环境搭建——超详细教程
文章浏览阅读5.3k次，点赞10次，收藏39次。本章详细写了mysql的安装，环境的搭建以及安装时常见的问题和解决办法。_mysql安装及配置超详细教程
大数据编程期末大作业2023
文章浏览阅读1.8k次，点赞50次，收藏31次。本篇文章讲解Spark编程基础这门课程的期末大作业，主要围绕Hadoop基本操作、RDD编程、SparkSQL和SparkStreaming编程展开。_直接将第4题的计算结果保存到/user/root/lisi目录中lisipi文件里。
ES查询常用语法
文章浏览阅读7.8k次，点赞9次，收藏34次。ES查询常用语法目录1. ElasticSearch之查询返回结果各字段含义2. match 查询3. term查询4. terms 查询5. range 范围6. 布尔查询6.1 filter加快查询效率的原因7. boosting query(提高查询)8. dis_max(最佳匹配查询）9. 分页10. 聚合查询【内含实际的demo】_es查询语法
大数据毕设项目 - opencv python 深度学习垃圾图像分类系统
文章浏览阅读928次，点赞27次，收藏18次。
【愚公系列】2024年02月 大数据教学课程 021-zookeeper的使用
文章浏览阅读1.1k次，点赞24次，收藏24次。作用描述分布式协调和一致性协调多个节点的活动，确保一致性和顺序。实现一致性、领导选举、集群管理等功能，确保系统的稳定和可靠性。高可用性和容错性Zookeeper是高可用的分布式系统，通过多个节点提供服务，容忍节点故障并自动进行主从切换。作为其他分布式系统的高可用组件，提供稳定的分布式协调和管理服务，保证系统的连续可用性。配置管理和动态更新作为配置中心，集中管理和分发配置信息。通过订阅机制，实现对配置的动态更新，以适应系统的变化和需求的变化。分布式锁和并发控制。
【知识整理】产研中心岗位评定标准之大数据岗位
文章浏览阅读1.5k次，点赞26次，收藏29次。为贯彻执行集团数字化转型的需要,该知识库将公示集团组织内各产研团队不同角色成员的职务“职级”岗位的评定标准;
【愚公系列】2024年02月 大数据教学课程 020-Hadoop的安装
文章浏览阅读1.2k次，点赞26次，收藏28次。在安装Hadoop之前，需要进行以下准备工作：确认操作系统：Hadoop可以运行在多种操作系统上，包括Linux、Windows和Mac OS等。选择适合你的操作系统，并确保操作系统版本符合Hadoop的要求。安装Java环境：Hadoop是基于Java开发的，因此需要先安装和配置Java环境。确保已经安装了符合Hadoop版本要求的Java Development Kit (JDK)，并设置好JAVA_HOME环境变量。确认硬件要求：Hadoop是一个分布式系统，因此需要多台计算机组成集群。
大数据毕设分享 基于大数据的K-means广告效果分析
文章浏览阅读974次，点赞19次，收藏24次。# 基于大数据的K-means广告效果分析毕业设计 基于大数据的K-means广告效果分析。
大数据与Hadoop入门理论
文章浏览阅读1.7k次，点赞6次，收藏10次。Hadoop入门理论
农业病虫害数据集与算法——调研整理
文章浏览阅读1.3w次，点赞28次，收藏232次。通过博客和文献调研整理的一些农业病虫害数据集与算法。_病虫害数据集
大数据之zookeeper选举机制
文章浏览阅读699次，点赞22次，收藏7次。ZooKeeper使用的是Zab（ZooKeeper Atomic Broadcast）协议，其选举过程基于一种名为Fast Leader Election（FLE）的算法进行。：每个参与选举的ZooKeeper服务器称为一个“Follower”或“Candidate”，它们都有一个唯一的标识ID（通常是一个整数），并且都知道集群中其他服务器的ID。总之，ZooKeeper的选举机制确保了在任何时刻集群中只有一个Leader存在，并通过过半原则保证了即使部分服务器宕机也能维持高可用性和一致性。
【大数据开发运维解决方案】Informatica 9.6.1+ORACLE11G+WIN10安装过程
文章浏览阅读10w+次，点赞62次，收藏73次。informatica 9.x是一款好用且功能强大的数据集成平台，主要进行各类数据库的管理操作，是使用相当广泛的一款ETL工具(注: ETL就是用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)到目的端的过程)。本文主要为大家图文详细介绍Windows10下informatica powercenter 9.6.1安装与配置步骤。文章到这里就结束了，本人是在虚拟机中装了一套win10然后在此基础上测试安装的这些软件，因为工作学习要分开嘛哈哈哈。！！！！！_informatica客户端安装教程
111个Python数据分析实战项目，代码已跑通，数据可下载
文章浏览阅读7.8w次，点赞245次，收藏2.9k次。111个Python数据分析实战项目，代码已跑通，数据可下载_python数据分析项目案例
【大数据基础平台】星环TDH社区集群版本部署
文章浏览阅读1.9k次，点赞61次，收藏64次。TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新，已帮助数千家行业客户利用大数据平台构建核心商业系统，加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值，依托于TDH强大的技术底座，星环科技推出TDH社区版（Transwarp Data Hub Community Edition）版本，致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境，轻松应对各类人员数据分析需求。_星环tdh没有hive
大数据毕设分享 python图像检索系统设计与实现
文章浏览阅读836次，点赞21次，收藏19次。
大数据就业方向-（工作）ETL开发
文章浏览阅读1k次，点赞21次，收藏15次。主要介绍ETL相关工作的一些概念和需求点
ssm博物馆线上导览系统--64574 (免费领源码、附论文）可做计算机毕业设计JAVA、PHP、爬虫、APP、小程序、C#、C++、python、数据可视化、大数据、全套文案
文章浏览阅读1.4k次。本文以Android、java为开发技术，实现了一个基于Android的博物馆线上导览系统 app。基于Android的博物馆线上导览系统 app的主要使用者分为管理员和用户，app端：首页、菜谱信息、甜品信息、交流论坛、我的，管理员：首页、个人中心、用户管理、菜谱信息管理、菜谱分类管理、甜品信息管理、甜品分类管理、宣传广告管理、交流论坛、系统管理等功能。通过这些功能模块的设计，基本上实现了整个博物馆线上导览的过程。
业务智能的未来趋势：AI与大数据的融合
文章浏览阅读897次，点赞19次，收藏26次。1.背景介绍在当今的数字时代，数据已经成为企业和组织中最宝贵的资源之一。随着互联网、移动互联网和物联网等技术的发展，数据的产生和收集速度也急剧增加。这些数据包括结构化数据(如数据库、 spreadsheet 等)和非结构化数据(如文本、图像、音频、视频等)。这些数据为企业和组织提供了更多的信息和见解，从而帮助他们做出更明智的决策。业务智能(Business Intelligence，BI)...
架构设计内容分享(二百一十)：设计一个大并发、大数据的系统架构，说说设计思路
文章浏览阅读932次，点赞22次，收藏16次。也就是说，一个类应该对自己需要耦合或调用的类知道的最少，类与类之间的关系越密切，耦合度越大，那么类的变化对其耦合的类的影响也会越大，这也是我们面向对象设计的核心原则：低耦合，高内聚。优秀的架构和产品都是一步一步迭代出来的，用户量的不断增大，业务的扩展进行不断地迭代升级，最终演化成优秀的架构。其根本思想是强调了类的松耦合，类之间的耦合越弱，越有利于复用，一个处在弱耦合的类被修改，不会波及有关系的类。缓存，从操作系统到浏览器，从数据库到消息队列，从应用软件到操作系统，从操作系统到CPU，无处不在。
大数据毕设分享(含算法) 基于hadoop大数据教育可视化系统(源码+论文)
文章浏览阅读937次，点赞22次，收藏23次。大数据可视化是关于数据视觉表现形式的科学技术研究[9]，将数据转换为图形或图像在屏幕上显示出来，并进行各种交互处理的理论、方法和技术。将数据直观地展现出来，以帮助人们理解数据，同时找出包含在海量数据中的规律或者信息，更多的为态势监控和综合决策服务。数据可视化是大数据生态链的最后一公里，也是用户最直接感知数据的环节。数据可视化系统并不是为了展示用户的已知的数据之间的规律，而是为了帮助用户通过认知数据，有新的发现，发现这些数据所反映的实质。大数据可视化的实施是一系列数据的转换过程。
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot