手把手教你快速在生产环境搭建Doris集群附集群启停管理脚本

分类：大数据作者：薛定谔的猫不吃猫粮

手把手教你快速在生产环境搭建Doris集群

在这里插入图片描述

一、部署规划

组件分布规划

节点 node4 node5 node6 node7 node8 Node9 Node10 Node11
服务 FE（follower）
BE		 FE（follower）
BE		 FE（follower）
BE		 FE（observer）
BE		 BE
Broker		 BE
Broker		 BE BE
Ip 192.168.22.34 192.168.22.35 192.168.22.36 192.168.22.37 192.168.22.20 192.168.22.16 192.168.22.17 192.168.22.18

二、部署准备

安装包准备

根据自己集群的软硬件配置，选择合适的版本进行编译，这里我下载编译doris1.2.2版本源码，推荐使用Docker

https://doris.apache.org/zh-CN/docs/install/source-install/compilation

安装目录准备

1.部署目录规划

为了方便后期升级维护，数据存储，元数据和日志尽量不要放在安装包内。

FE 部署目录：/opt/module/doris/fe

日志目录：/var/log/doris/fe
元数据目录：/mnt/disk4/doris/meta
BE 部署目录：/opt/module/doris/be
日志目录：/var/log/doris/be
数据存储目录：/mnt/disk4/doris/storage，/mnt/disk5/doris/storage，/mnt/disk6/doris/storage
Broker 部署目录：/opt/module/doris/apache_hdfs_broker

2.数据存储目录创建

在BE上创建数据存储目录，根据规划node4到node11

[root@node4 hadoop]# mkdir -p /mnt/disk4/doris/storage
[root@node4 hadoop]# mkdir -p /mnt/disk5/doris/storage
[root@node4 hadoop]# mkdir -p /mnt/disk6/doris/storage

3.元数据存储目录创建

FE上需要创建元数据存储目录，node4到node7

[root@node4 hadoop]# mkdir -p /mnt/disk4/doris/meta

4.修改数据和元数据文件目录归属

管理Doris时，我们不能使用root用户直接管理，我们使用具有管理权限的hadoop用户进行管理

node4到node11，元数据和数据权限一起修改

[root@node4 hadoop]# chown -R hadoop:hadoop /mnt/disk4/doris
[root@node4 hadoop]# chown -R hadoop:hadoop /mnt/disk5/doris
[root@node4 hadoop]# chown -R hadoop:hadoop /mnt/disk6/doris

5.日志目录创建

BE的日志目录，node4-node11

[root@node4 hadoop]# mkdir -p /var/log/doris/be

FE的日志目录，node4-node7

[root@node4 hadoop]# mkdir -p /var/log/doris/fe

6.修改日志目录权限归属

[root@node4 hadoop]# chown -R hadoop:hadoop /var/log/doris

三、部署安装

配置文件

1.修改FE配置文件

vim /opt/module/doris-1.2.2/fe/conf/fe.conf

日志存储目录

LOG_DIR = /var/log/doris/fe

修改jvm参数，-Xmx调整为16G

JAVA_OPTS="-Xmx16384m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:$DORIS_HOME/log/fe.gc.log.$DATE"

元数据存储目录

meta_dir = /mnt/disk4/doris/meta

绑定ip

priority_networks = 192.168.22.34/24

2.修改be配置

配置java环境变量

由于从 1.2 版本开始支持 Java UDF 函数，BE 依赖于 Java 环境。所以要预先配置 JAVA_HOME 环境变量，也可以在 start_be.sh 启动脚本第一行添加 export JAVA_HOME=your_java_home_path 来添加环境变量。

vim /opt/module/doris-1.2.2/be/bin/start_be.sh

第一行添加

export JAVA_HOME=/usr/java/jdk

配置be，修改配置文件

vim /opt/module/doris-1.2.2/be/conf/be.conf

日志存储目录

 sys_log_dir = /var/log/doris/be

默认的8040端口和hadoop端口冲突了修改为18040

# ports for admin,web,heartbeat service 
be_port = 9060
webserver_port = 18040
heartbeat_service_port = 9050
brpc_port = 8060

修改绑定ip

priority_networks = 192.168.22.34/24

修改存储目录

路径和硬盘类型间用“，”隔开，多路径用“；”隔开，我这里时机械硬盘medium值为HDD，固态硬盘使用SSD

storage_root_path = /mnt/disk4/doris/storage,medium:HDD;/mnt/disk5/doris/storage,medium:HDD;/mnt/disk6/doris/storage,medium:HDD

3.Broker配置

把hdfs配置文件复制到Broker目录下

 mv hdfs-site.xml /opt/module/doris-1.2.2/apache_hdfs_broker/conf/

4.分发与修改配置

4.1.分发

到node4-node11

xsync /opt/module/doris-1.2.2
4.2.修改绑定ip

修改其余节点的绑定ip

node4-node7

vim /opt/module/doris-1.2.2/fe/conf/fe.conf

fe改为对应的绑定ip

...

be修改为对应绑定ip

node8-node11

 vim /opt/module/doris-1.2.2/be/conf/be.conf

be修改为对应绑定ip

...

5.添加组件和启动集群

5.1.启动第一个FE
[hadoop@node4 doris]$ fe/bin/start_fe.sh --daemon

查看一下进出是否存在

[hadoop@node4 ~]$ jps | grep PaloFe
Picked up JAVA_TOOL_OPTIONS: -Dfile.encoding=UTF-8
221813 dorisFE
5.2安装mysql客户端

集群安装mysql客户端

使用客户端连接Fe

mysql -h node4 -P 9030 -uroot

查看fe节点

mysql> show frontends;
+-----------------------------------+----------------+-------------+----------+-----------+---------+----------+----------+------------+------+-------+-------------------+---------------------+----------+--------+--------------------------+------------------+
| Name                              | IP             | EditLogPort | HttpPort | QueryPort | RpcPort | Role     | IsMaster | ClusterId  | Join | Alive | ReplayedJournalId | LastHeartbeat       | IsHelper | ErrMsg | Version                  | CurrentConnected |
+-----------------------------------+----------------+-------------+----------+-----------+---------+----------+----------+------------+------+-------+-------------------+---------------------+----------+--------+--------------------------+------------------+
| 192.168.22.34_9010_1679021376875 | 192.168.22.34 | 9010        | 8030     | 9030      | 9020    | FOLLOWER | true     | 1095009859 | true | true  | 144               | 2023-03-17 10:57:15 | true     |        | doris-1.2.2-rc01-Unknown | Yes              |
+-----------------------------------+----------------+-------------+----------+-----------+---------+----------+----------+------------+------+-------+-------------------+---------------------+----------+--------+--------------------------+------------------+

第一次连接，没有密码，这里我们修改root密码

SET PASSWORD FOR 'root' = PASSWORD('000000');
5.3.添加其余的FE节点
ALTER SYSTEM ADD FOLLOWER "192.168.22.35:9010";
ALTER SYSTEM ADD FOLLOWER "192.168.22.36:9010";
ALTER SYSTEM ADD OBSERVER "192.168.22.37:9010";

再查看

show frontends

可以看到其他节点FE已经添加上了，只是连不上，因为我们还没有启动

mysql> show frontends;
+-----------------------------------+----------------+-------------+----------+-----------+---------+----------+----------+------------+-------+-------+-------------------+---------------------+----------+--------------------------------------------------------------+--------------------------+------------------+
| Name                              | IP             | EditLogPort | HttpPort | QueryPort | RpcPort | Role     | IsMaster | ClusterId  | Join  | Alive | ReplayedJournalId | LastHeartbeat       | IsHelper | ErrMsg                                                       | Version                  | CurrentConnected |
+-----------------------------------+----------------+-------------+----------+-----------+---------+----------+----------+------------+-------+-------+-------------------+---------------------+----------+--------------------------------------------------------------+--------------------------+------------------+
| 192.168.22.36_9010_1679022090994 | 192.168.22.36 | 9010        | 8030     | 0         | 0       | FOLLOWER | false    | 1095009859 | false | false | 0                 | NULL                | true     | java.net.ConnectException: 拒绝连接 (Connection refused)     | NULL                     | No               |
| 192.168.22.34_9010_1679021376875 | 192.168.22.34 | 9010        | 8030     | 9030      | 9020    | FOLLOWER | true     | 1095009859 | true  | true  | 232               | 2023-03-17 11:01:57 | true     |                                                              | doris-1.2.2-rc01-Unknown | Yes              |
| 192.168.22.35_9010_1679022090967 | 192.168.22.35 | 9010        | 8030     | 0         | 0       | FOLLOWER | false    | 1095009859 | false | false | 0                 | NULL                | true     | java.net.ConnectException: 拒绝连接 (Connection refused)     | NULL                     | No               |
| 192.168.22.37_9010_1679022093117 | 192.168.22.37 | 9010        | 8030     | 0         | 0       | OBSERVER | false    | 1095009859 | false | false | 0                 | NULL                | false    | java.net.ConnectException: 拒绝连接 (Connection refused)     | NULL                     | No               |
+-----------------------------------+----------------+-------------+----------+-----------+---------+----------+----------+------------+-------+-------+-------------------+---------------------+----------+--------------------------------------------------------------+--------------------------+------------------+
4 rows in set (0.02 sec)
5.4.启动其他FE

注意：第一次启动需指定–helper参数，后续再启动无需指定此参数

node5-node7

分别进入对应节点的fe目录

cd /opt/module/doris-1.2.2/fe

分别执行如下命令

bin/start_fe.sh --helper 192.168.22.34:9010 --daemon

分别查看FE进程

[hadoop@node7 fe]$ jps | grep  PaloFe
12644 PaloFe

第三次使用mysql客户端查看

show frontends

结果如下

mysql> show frontends;
+-----------------------------------+----------------+-------------+----------+-----------+---------+----------+----------+------------+------+-------+-------------------+---------------------+----------+--------+--------------------------+------------------+
| Name                              | IP             | EditLogPort | HttpPort | QueryPort | RpcPort | Role     | IsMaster | ClusterId  | Join | Alive | ReplayedJournalId | LastHeartbeat       | IsHelper | ErrMsg | Version                  | CurrentConnected |
+-----------------------------------+----------------+-------------+----------+-----------+---------+----------+----------+------------+------+-------+-------------------+---------------------+----------+--------+--------------------------+------------------+
| 192.168.22.36_9010_1679022090994 | 192.168.22.36 | 9010        | 8030     | 9030      | 9020    | FOLLOWER | false    | 1095009859 | true | true  | 357               | 2023-03-17 11:09:03 | true     |        | doris-1.2.2-rc01-Unknown | No               |
| 192.168.22.34_9010_1679021376875 | 192.168.22.34 | 9010        | 8030     | 9030      | 9020    | FOLLOWER | true     | 1095009859 | true | true  | 359               | 2023-03-17 11:09:03 | true     |        | doris-1.2.2-rc01-Unknown | Yes              |
| 192.168.22.35_9010_1679022090967 | 192.168.22.35 | 9010        | 8030     | 9030      | 9020    | FOLLOWER | false    | 1095009859 | true | true  | 357               | 2023-03-17 11:09:03 | true     |        | doris-1.2.2-rc01-Unknown | No               |
| 192.168.22.37_9010_1679022093117 | 192.168.22.37 | 9010        | 8030     | 9030      | 9020    | OBSERVER | false    | 1095009859 | true | true  | 357               | 2023-03-17 11:09:03 | false    |        | doris-1.2.2-rc01-Unknown | No               |
+-----------------------------------+----------------+-------------+----------+-----------+---------+----------+----------+------------+------+-------+-------------------+---------------------+----------+--------+--------------------------+------------------+

注意看4个FE全部处于激活状态

5.5.添加BE

mysql客户端执行对应的如下语句

ALTER SYSTEM ADD BACKEND "192.168.22.34:9050";
ALTER SYSTEM ADD BACKEND "192.168.22.35:9050";
ALTER SYSTEM ADD BACKEND "192.168.22.36:9050";
ALTER SYSTEM ADD BACKEND "192.168.22.37:9050";
ALTER SYSTEM ADD BACKEND "192.168.22.20:9050";
ALTER SYSTEM ADD BACKEND "192.168.22.16:9050";
ALTER SYSTEM ADD BACKEND "192.168.22.17:9050";
ALTER SYSTEM ADD BACKEND "192.168.22.18:9050";
6.6.启动其他BE

node4-node11

进入BE目录

cd /opt/module/doris/be

启动

/be/bin/start_be.sh --daemon

提示(若没有如下提示，跳过)

Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.

根据提示，分别在be节点执行

sysctl -w vm.max_map_count=2000000

再在各个be节点，启动be。

查看状况

mysql客户端

SHOW  backends;

mysql> SHOW  backends;
+-----------+-----------------+----------------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------+--------------------------+--------+--------------------------+-------------------------------------------------------------------------------------------------------------------------------+-------------------------+----------+
| BackendId | Cluster         | IP             | HeartbeatPort | BePort | HttpPort | BrpcPort | LastStartTime       | LastHeartbeat       | Alive | SystemDecommissioned | ClusterDecommissioned | TabletNum | DataUsedCapacity | AvailCapacity | TotalCapacity | UsedPct | MaxDiskUsedPct | RemoteUsedCapacity | Tag                      | ErrMsg | Version                  | Status                                                                                                                        | HeartbeatFailureCounter | NodeRole |
+-----------+-----------------+----------------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------+--------------------------+--------+--------------------------+-------------------------------------------------------------------------------------------------------------------------------+-------------------------+----------+
| 11006     | default_cluster | 192.168.22.16 | 9050          | 9060   | 18040    | 8060     | 2023-03-17 13:14:29 | 2023-03-17 13:14:52 | true  | false                | false                 | 0         | 0.000            | 10.567 TB     | 10.911 TB     | 3.15 %  | 3.24 %         | 0.000              | {"location" : "default"} |        | doris-1.2.2-rc01-Unknown | {"lastSuccessReportTabletsTime":"2023-03-17 13:14:37","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false} | 0                       | mix      |
| 11007     | default_cluster | 192.168.22.17 | 9050          | 9060   | 18040    | 8060     | 2023-03-17 13:14:29 | 2023-03-17 13:14:52 | true  | false                | false                 | 0         | 0.000            | 10.575 TB     | 10.911 TB     | 3.08 %  | 3.11 %         | 0.000              | {"location" : "default"} |        | doris-1.2.2-rc01-Unknown | {"lastSuccessReportTabletsTime":"2023-03-17 13:14:35","isLoadDisabled":false} | 0                       | mix      |
| 11008     | default_cluster | 192.168.22.18 | 9050          | 9060   | 18040    | 8060     | 2023-03-17 13:14:30 | 2023-03-17 13:14:52 | true  | false                | false                 | 0         | 0.000            | 10.562 TB     | 10.911 TB     | 3.20 %  | 3.24 %         | 0.000              | {"location" : "default"} |        | doris-1.2.2-rc01-Unknown | {"lastSuccessReportTabletsTime":"2023-03-17 13:14:35","isLoadDisabled":false} | 0                       | mix      |
| 11001     | default_cluster | 192.168.22.34 | 9050          | 9060   | 18040    | 8060     | 2023-03-17 13:09:12 | 2023-03-17 13:14:52 | true  | false                | false                 | 0         | 0.000            | 7.731 TB      | 10.744 TB     | 28.05 % | 28.51 %        | 0.000              | {"location" : "default"} |        | doris-1.2.2-rc01-Unknown | {"lastSuccessReportTabletsTime":"2023-03-17 13:14:25","isLoadDisabled":false} | 0                       | mix      |
| 11002     | default_cluster | 192.168.22.35 | 9050          | 9060   | 18040    | 8060     | 2023-03-17 13:09:13 | 2023-03-17 13:14:52 | true  | false                | false                 | 0         | 0.000            | 7.832 TB      | 10.744 TB     | 27.11 % | 27.34 %        | 0.000              | {"location" : "default"} |        | doris-1.2.2-rc01-Unknown | {"lastSuccessReportTabletsTime":"2023-03-17 13:14:35","isLoadDisabled":false} | 0                       | mix      |
| 11003     | default_cluster | 192.168.22.36 | 9050          | 9060   | 18040    | 8060     | 2023-03-17 13:09:12 | 2023-03-17 13:14:52 | true  | false                | false                 | 0         | 0.000            | 8.204 TB      | 10.744 TB     | 23.64 % | 24.17 %        | 0.000              | {"location" : "default"} |        | doris-1.2.2-rc01-Unknown | {"lastSuccessReportTabletsTime":"2023-03-17 13:14:41","isLoadDisabled":false} | 0                       | mix      |
| 11004     | default_cluster | 192.168.22.37 | 9050          | 9060   | 18040    | 8060     | 2023-03-17 13:09:14 | 2023-03-17 13:14:52 | true  | false                | false                 | 0         | 0.000            | 8.424 TB      | 10.744 TB     | 21.59 % | 23.50 %        | 0.000              | {"location" : "default"} |        | doris-1.2.2-rc01-Unknown | {"lastSuccessReportTabletsTime":"2023-03-17 13:14:33","isLoadDisabled":false} | 0                       | mix      |
| 11005     | default_cluster | 192.168.22.20 | 9050          | 9060   | 18040    | 8060     | 2023-03-17 13:09:16 | 2023-03-17 13:14:52 | true  | false                | false                 | 0         | 0.000            | 7.340 TB      | 10.744 TB     | 31.68 % | 31.77 %        | 0.000              | {"location" : "default"} |        | doris-1.2.2-rc01-Unknown | {"lastSuccessReportTabletsTime":"2023-03-17 13:14:35","isLoadDisabled":false} | 0                       | mix      |
+-----------+-----------------+----------------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------+--------------------------+--------+--------------------------+-------------------------------------------------------------------------------------------------------------------------------+-------------------------+----------+

查看进程

[hadoop@node4 be]$ ps -ef | grep doris_be
hadoop    52260      1  0 17:23 pts/2    00:00:08 /opt/module/doris/be/lib/doris_be

6.7.添加Broker

mySql

ALTER SYSTEM ADD BROKER broker8 "192.168.22.38:8000";
ALTER SYSTEM ADD BROKER broker9 "192.168.22.39:8000";

6.8.启动broker

node8和node9上启动

[hadoop@node8 doris]$ cd apache_hdfs_broker/
[hadoop@node8 apache_hdfs_broker]$ bin/start_broker.sh --daemon

查看进程

[hadoop@node8 apache_hdfs_broker]$ jps | grep BrokerBootstrap
37003 BrokerBootstrap

6.9.编写集群启停脚本

群起脚本

#!/bin/bash

# use-method: starrocks.sh start|stop|restart

fe_hosts=(node4 node5 node6  node7)
be_hosts=(node4 node5 node6  node7 node8 node9 node10 node11)
broker_hosts=(node8 kafka1)

case $1 in

"start"){

    for i in ${fe_hosts[*]}
    do
        echo "=================== start $i's fe service ================"
        ssh $i "source /etc/profile.d/my_env.sh ;cd /opt/module/starRocks;./fe/bin/start_fe.sh --daemon"
    done


    for i in ${be_hosts[*]}
    do
        echo "=================== start $i's be  service ================"
        ssh $i "source /etc/profile.d/my_env.sh ;cd /opt/module/starRocks;./be/bin/start_be.sh --daemon"   
    done
	
	
	    for i in ${broker_hosts[*]}
    do
        echo "=================== start $i's  broker service ================" 
#        ssh $i "source /etc/profile.d/my_env.sh ;cd /opt/module/starRocks;./apache_hdfs_broker/bin/start_broker.sh --daemon"
    done

};;

"stop"){

    for i in ${broker_hosts[*]}
    do
        echo "=================== stop $i's broker service ================"
        ssh $i "/opt/module/starRocks/apache_hdfs_broker/bin/stop_broker.sh"
    done
	
	
	for i in ${be_hosts[*]}
    do
        echo "=================== stop $i's be service ================"
        ssh $i "/opt/module/starRocks/be/bin/stop_be.sh"
    done

    for i in ${fe_hosts[*]}
    do
        echo "=================== stop $i's fe service ================"
         ssh $i "/opt/module/starRocks/fe/bin/stop_fe.sh"
    done

};;

"status"){
    for i in ${fe_hosts[*]}
    do
        echo "=================== status $i's fe service ================"
         ssh $i "jps | grep StarRocksFE"
    done

    for i in ${be_hosts[*]}
    do
        echo "=================== status $i's be  service ================"
        ssh $i "ps -ef | grep starrocks_be | grep -v 'grep'"
    done

    for i in ${broker_hosts[*]}
    do
        echo "=================== status $i's broker service ================"
        ssh $i "jps | grep BrokerBootstrap | grep -v ‘JAVA_TOOL_OPTIONS’"
    done
};;

"restart")

 starrocks-cluster.sh stop

 sleep 2

 starrocks-cluster.sh start

;;

*)

 echo "Parameter ERROR!!! starrocks.sh start|stop|restart"

 ;;

esac

添加脚本执行权限

sudo +x doris-cluster.sh

6.10.web界面

be的web界面

http://node4.bigdata.59wanmei.com:18040/
http://node5.bigdata.59wanmei.com:18040/
http://node6.bigdata.59wanmei.com:18040/
http://node7.bigdata.59wanmei.com:18040/
。。。

fe的web界面

http://node4.bigdata.59wanmei.com:8030/home
http://node5.bigdata.59wanmei.com:8030/home
http://node6.bigdata.59wanmei.com:8030/home
http://node7.bigdata.59wanmei.com:8030/home

四、账号权限管理

1.添加一个账号

 mysql -h node4 -P 9030 -uroot -p'000000'

mysql客户端执行

set password=password('000000');

创建数据库

 create database test_db;

创建一个普通用户

CREATE USER test IDENTIFIED BY 'test000000';

给当前用户bus_log库的一个只读权限

GRANT SELECT_PRIV ON test_db.* TO test;

好了，集群搭建完成。

原文地址：https://blog.csdn.net/weixin_52918377/article/details/129622413

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

MySQL安装与环境搭建——超详细教程
文章浏览阅读5.3k次，点赞10次，收藏39次。本章详细写了mysql的安装，环境的搭建以及安装时常见的问题和解决办法。_mysql安装及配置超详细教程
大数据编程期末大作业2023
文章浏览阅读1.8k次，点赞50次，收藏31次。本篇文章讲解Spark编程基础这门课程的期末大作业，主要围绕Hadoop基本操作、RDD编程、SparkSQL和SparkStreaming编程展开。_直接将第4题的计算结果保存到/user/root/lisi目录中lisipi文件里。
ES查询常用语法
文章浏览阅读7.8k次，点赞9次，收藏34次。ES查询常用语法目录1. ElasticSearch之查询返回结果各字段含义2. match 查询3. term查询4. terms 查询5. range 范围6. 布尔查询6.1 filter加快查询效率的原因7. boosting query(提高查询)8. dis_max(最佳匹配查询）9. 分页10. 聚合查询【内含实际的demo】_es查询语法
大数据毕设项目 - opencv python 深度学习垃圾图像分类系统
文章浏览阅读928次，点赞27次，收藏18次。
【愚公系列】2024年02月 大数据教学课程 021-zookeeper的使用
文章浏览阅读1.1k次，点赞24次，收藏24次。作用描述分布式协调和一致性协调多个节点的活动，确保一致性和顺序。实现一致性、领导选举、集群管理等功能，确保系统的稳定和可靠性。高可用性和容错性Zookeeper是高可用的分布式系统，通过多个节点提供服务，容忍节点故障并自动进行主从切换。作为其他分布式系统的高可用组件，提供稳定的分布式协调和管理服务，保证系统的连续可用性。配置管理和动态更新作为配置中心，集中管理和分发配置信息。通过订阅机制，实现对配置的动态更新，以适应系统的变化和需求的变化。分布式锁和并发控制。
【知识整理】产研中心岗位评定标准之大数据岗位
文章浏览阅读1.5k次，点赞26次，收藏29次。为贯彻执行集团数字化转型的需要,该知识库将公示集团组织内各产研团队不同角色成员的职务“职级”岗位的评定标准;
【愚公系列】2024年02月 大数据教学课程 020-Hadoop的安装
文章浏览阅读1.2k次，点赞26次，收藏28次。在安装Hadoop之前，需要进行以下准备工作：确认操作系统：Hadoop可以运行在多种操作系统上，包括Linux、Windows和Mac OS等。选择适合你的操作系统，并确保操作系统版本符合Hadoop的要求。安装Java环境：Hadoop是基于Java开发的，因此需要先安装和配置Java环境。确保已经安装了符合Hadoop版本要求的Java Development Kit (JDK)，并设置好JAVA_HOME环境变量。确认硬件要求：Hadoop是一个分布式系统，因此需要多台计算机组成集群。
大数据毕设分享 基于大数据的K-means广告效果分析
文章浏览阅读974次，点赞19次，收藏24次。# 基于大数据的K-means广告效果分析毕业设计 基于大数据的K-means广告效果分析。
大数据与Hadoop入门理论
文章浏览阅读1.7k次，点赞6次，收藏10次。Hadoop入门理论
农业病虫害数据集与算法——调研整理
文章浏览阅读1.3w次，点赞28次，收藏232次。通过博客和文献调研整理的一些农业病虫害数据集与算法。_病虫害数据集
大数据之zookeeper选举机制
文章浏览阅读699次，点赞22次，收藏7次。ZooKeeper使用的是Zab（ZooKeeper Atomic Broadcast）协议，其选举过程基于一种名为Fast Leader Election（FLE）的算法进行。：每个参与选举的ZooKeeper服务器称为一个“Follower”或“Candidate”，它们都有一个唯一的标识ID（通常是一个整数），并且都知道集群中其他服务器的ID。总之，ZooKeeper的选举机制确保了在任何时刻集群中只有一个Leader存在，并通过过半原则保证了即使部分服务器宕机也能维持高可用性和一致性。
【大数据开发运维解决方案】Informatica 9.6.1+ORACLE11G+WIN10安装过程
文章浏览阅读10w+次，点赞62次，收藏73次。informatica 9.x是一款好用且功能强大的数据集成平台，主要进行各类数据库的管理操作，是使用相当广泛的一款ETL工具(注: ETL就是用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)到目的端的过程)。本文主要为大家图文详细介绍Windows10下informatica powercenter 9.6.1安装与配置步骤。文章到这里就结束了，本人是在虚拟机中装了一套win10然后在此基础上测试安装的这些软件，因为工作学习要分开嘛哈哈哈。！！！！！_informatica客户端安装教程
111个Python数据分析实战项目，代码已跑通，数据可下载
文章浏览阅读7.8w次，点赞245次，收藏2.9k次。111个Python数据分析实战项目，代码已跑通，数据可下载_python数据分析项目案例
【大数据基础平台】星环TDH社区集群版本部署
文章浏览阅读1.9k次，点赞61次，收藏64次。TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新，已帮助数千家行业客户利用大数据平台构建核心商业系统，加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值，依托于TDH强大的技术底座，星环科技推出TDH社区版（Transwarp Data Hub Community Edition）版本，致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境，轻松应对各类人员数据分析需求。_星环tdh没有hive
大数据毕设分享 python图像检索系统设计与实现
文章浏览阅读836次，点赞21次，收藏19次。
大数据就业方向-（工作）ETL开发
文章浏览阅读1k次，点赞21次，收藏15次。主要介绍ETL相关工作的一些概念和需求点
ssm博物馆线上导览系统--64574 (免费领源码、附论文）可做计算机毕业设计JAVA、PHP、爬虫、APP、小程序、C#、C++、python、数据可视化、大数据、全套文案
文章浏览阅读1.4k次。本文以Android、java为开发技术，实现了一个基于Android的博物馆线上导览系统 app。基于Android的博物馆线上导览系统 app的主要使用者分为管理员和用户，app端：首页、菜谱信息、甜品信息、交流论坛、我的，管理员：首页、个人中心、用户管理、菜谱信息管理、菜谱分类管理、甜品信息管理、甜品分类管理、宣传广告管理、交流论坛、系统管理等功能。通过这些功能模块的设计，基本上实现了整个博物馆线上导览的过程。
业务智能的未来趋势：AI与大数据的融合
文章浏览阅读897次，点赞19次，收藏26次。1.背景介绍在当今的数字时代，数据已经成为企业和组织中最宝贵的资源之一。随着互联网、移动互联网和物联网等技术的发展，数据的产生和收集速度也急剧增加。这些数据包括结构化数据(如数据库、 spreadsheet 等)和非结构化数据(如文本、图像、音频、视频等)。这些数据为企业和组织提供了更多的信息和见解，从而帮助他们做出更明智的决策。业务智能(Business Intelligence，BI)...
架构设计内容分享(二百一十)：设计一个大并发、大数据的系统架构，说说设计思路
文章浏览阅读932次，点赞22次，收藏16次。也就是说，一个类应该对自己需要耦合或调用的类知道的最少，类与类之间的关系越密切，耦合度越大，那么类的变化对其耦合的类的影响也会越大，这也是我们面向对象设计的核心原则：低耦合，高内聚。优秀的架构和产品都是一步一步迭代出来的，用户量的不断增大，业务的扩展进行不断地迭代升级，最终演化成优秀的架构。其根本思想是强调了类的松耦合，类之间的耦合越弱，越有利于复用，一个处在弱耦合的类被修改，不会波及有关系的类。缓存，从操作系统到浏览器，从数据库到消息队列，从应用软件到操作系统，从操作系统到CPU，无处不在。
大数据毕设分享(含算法) 基于hadoop大数据教育可视化系统(源码+论文)
文章浏览阅读937次，点赞22次，收藏23次。大数据可视化是关于数据视觉表现形式的科学技术研究[9]，将数据转换为图形或图像在屏幕上显示出来，并进行各种交互处理的理论、方法和技术。将数据直观地展现出来，以帮助人们理解数据，同时找出包含在海量数据中的规律或者信息，更多的为态势监控和综合决策服务。数据可视化是大数据生态链的最后一公里，也是用户最直接感知数据的环节。数据可视化系统并不是为了展示用户的已知的数据之间的规律，而是为了帮助用户通过认知数据，有新的发现，发现这些数据所反映的实质。大数据可视化的实施是一系列数据的转换过程。
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot