接着上篇：http://www.voidcn.com/article/p-pwoyusmt-bod.html 接着上篇：http://www.voidcn.com/article/p-kiwxozhi-bod.html 接着上篇：http://www.voidcn.com/article/p-nksepega-bod.html 下面安装spark      安装spark要先安装scala。 安装

接着1上篇：http://www.voidcn.com/article/p-pwoyusmt-bod.html 接着2上篇：http://www.voidcn.com/article/p-kiwxozhi-bod.html 接着3上篇：http://www.voidcn.com/article/p-nksepega-bod.html 接着4上篇：https://my.oschina.net/u/9

1. 环境要求：     VMware 10.0 虚拟机        ubuntu14.04.1 64位操作系统      hadoop2.6.0      jdk-8u65-linux-x64.tar.gz            2.  配置SSH无密码登陆      进入root权限，使用apt-get update更新系统      安装SSH，apt-get install openss

本文是在Ubuntu15.10麒麟版中安装过程的实录。 准备工作： 1.设置root用户密码（命令：sudo passwd root） 2.正确设置各个节点IP（各个节点应该使用静态IP） 3.正确设置各个Host名字（sudo gedit /etc/hostname，同时要修改/etc/hosts内容使得Host名字保持一致） 4.安装OpenSSH软件（sudo apt-get install

Ubuntu集群下利用Shell脚本进行SSH免密码登陆 Ubuntu集群下利用Shell脚本进行SSH免密码登陆 ssh-copy-id expect 具体的实现 expect在ubuntu下的安装 脚本代码 结论 如果我们有一个服务器的集群，在这个集群下面需要为集群的每一个节点实现SSH的免密码，其实是一件非常繁琐的工作。此时，我们可以借助Shell脚本方便的实现。 在开始看具体实现之前，我们

【环境】 Ubuntu 14.04 MariaDB 10.1 stable 【机器】 host-1: 10.0.5.11 host-2: 10.0.5.12 host-3: 10.0.5.13 <以下操作为host-1 2 3都有> MariaDB官方安装向导： https://downloads.mariadb.org/mariadb/repositories/#mirror=yamagata-

Ceph 是一个高性能、可靠、可扩展的开源存储平台。它是一个自由的分布式存储系统，提供了对象、块和文件级存储的接口，并可以不受单点故障的影响而运行。 -- Muhammad Arul 本文导航 -前提条件05% -第 1 步 - 配置所有节点08% -创建 Ceph 用户09% -安装和配置 NTP14% -安装 Open-vm-tools16% -安装 Python 和 parted18% -配

0: 设置系统登录相关 Master要执行 cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys 如果用root用户 sed -ri 's/^(PermitRootLogin ).*$/\1yes/' /etc/ssh/sshd_config 编辑/etc/hosts 127.0.0.1       localhost   # 别把 spa

UBUNTU环境 ubuntu-16.10-desktop-amd64.iso 虚拟机使用VMWare 12.5.2，可以把窗口关闭后台运行，VirturelBox每一个虚拟机启动后都弹出来一个新窗口，有窗口干净强迫症的我实在受不了。 网络NAT模式，共享网络，处于独立网段，可以固定IP，不影响对外连接 下载最新的安装程序，我当前版本 jdk-8u121-linux-x64.tar.gz hado

在Ubuntu上搭建hadoop和spark集群，1台master(namenode)，3台slave(datanode) 1. 安装Java 1 2 sudo mkdir /usr/local/java/

[问题] [解答] [问题] 删除 ceph-node1上的osd.4节点的方法？ [解答] ceph-admin-node@ceph-admin-node:~/my-cluster$ ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.07149 root default -2 0.02859 host

在 ceph-admin-node 节点上为节点 ceph-node1 添加两个虚拟磁盘，挂载盘符为/dev/vdb, /dev/vdc, 前者为 osd data存放用，/dev/vdc为 osd journal 使用。 将 /dev/vdb 和 /dev/vdc 格式化为 xfs 文件系统格式 ceph-admin-node@ceph-admin-node:~/my-cluster$ ceph

platform: Ubuntu 14.04 layout: 集群节点布局: Node Ip OSD MON RGW MDS ceph-admin-node 192.168.1.253 ceph-node1 192.168.1.252 osd.0 mon.ceph-node1 ceph-node2 192.168.1.251 osd.1 mon.ceph-node2 Yes ceph-node3

1 环境配置： ubuntu16.04 redis3.0.6 2 机器： 192.168.50.156 192.168.50.154 192.168.50.155 3 下载redis独立文件位置： http://download.redis.io/rele... 4 安装redis: apt-get install redis-server 关键点：Redis-trib.rb工具实现集群 5 复制

              跑完WordCount程序后，想在Hadoop集群上在熟练几个程序，毕竟辛苦搭建好的集群，选择了简单的两个例子：数据去重+数据排序。这里记录下程序及运行中发生的一些问题及解决方案。        前提准备：1、Ubuntu16.0系统+eclipse；                          2、Ubuntu server版本搭建的分布式集群系统（1台mast

安装sparklyr 1.通过devtools包实现sparklyr包的安装： install.packages("devtools") devtools::install_github("rstudio/sparklyr") 出现问题：安装不上，因为Ubuntu中需要安装一些包 $ sudo apt-get install libcurl4-openssl-dev libssl-dev 2.在本

一、JDK安装 手动解压JDK的压缩包，然后设置环境变量 1.1在/usr/目录下创建java目录 root@ubuntu:~# mkdir/usr/java root@ubuntu:~#  cd /usr/java 1.2 下载jdk,然后解压 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-21331

下载 http://kafka.apache.org/downloads.html http://mirror.bit.edu.cn/apache/kafka/0.11.0.0/kafka_2.11-0.11.0.0.tgz  root@master:/usr/local/kafka_2.11-0.11.0.0/config# vim server.properties broker.id=2  

root@master:~# wget http://mirror.bit.edu.cn/apache/storm/apache-storm-1.1.1/apache-storm-1.1.1.tar.gz root@master:/usr/local/apache-storm-1.1.1# vim conf/storm.yaml storm.zookeeper.servers:      - "m

http://mirrors.hust.edu.cn/apache/hbase/ http://mirrors.hust.edu.cn/apache/hbase/1.3.1/hbase-1.3.1-bin.tar.gz root@master:/usr/local/hbase-1.3.1# vim /etc/profile #Hbase_Home export HBASE_HOME=/usr/lo