总共写了5篇，都是网上找的然后自己搭建完了，把过程和操作写了一下，供参考。 传送门 1。hadoop安装：http://www.voidcn.com/article/p-pwoyusmt-bod.html 2。zookeeper安装：https://my.oschina.net/u/988386/blog/802052 3。hbase安装：https://my.oschina.net/u/9883

接着上篇：http://www.voidcn.com/article/p-pwoyusmt-bod.html 上篇安装完成了hadoop，接下来安装zookeeper。 安装zookeeper        (2台机器配置基本相同） #!/bin/bash PATH_FILE="/etc/profile" #安装包路径 ZOOKEEPER_TAR="/home/hdp/Downloads/zoo

接着上篇：http://www.voidcn.com/article/p-pwoyusmt-bod.html 接着上篇：http://www.voidcn.com/article/p-kiwxozhi-bod.html 上篇安装完成了hadoop、zookeeper,下面安装hbase。 安装hbase(2台机器配置基本相同） #!/bin/bash PATH_FILE="/etc/profil

接着上篇：http://www.voidcn.com/article/p-pwoyusmt-bod.html 接着上篇：http://www.voidcn.com/article/p-kiwxozhi-bod.html 接着上篇：http://www.voidcn.com/article/p-nksepega-bod.html 下面安装spark      安装spark要先安装scala。 安装

接着1上篇：http://www.voidcn.com/article/p-pwoyusmt-bod.html 接着2上篇：http://www.voidcn.com/article/p-kiwxozhi-bod.html 接着3上篇：http://www.voidcn.com/article/p-nksepega-bod.html 接着4上篇：https://my.oschina.net/u/9

参见官网配置说明http://www.scala-sbt.org/release/tutorial/Manual-Installation.html   　1、下载sbt通用平台压缩包：sbt-0.13.5.tgz   http://www.scala-sbt.org/download.html     　2、建立目录，解压文件到所建立目录 $ sudo tar zxvf sbt-0.13.5.t

参考链接：http://dblab.xmu.edu.cn/blog/1155/ 搭建环境 Ubuntu14.04以上 Hadoop 2.6.0以上 Java JDK 1.7以上 Spark 2.0.0 学习spark要先搞清楚下面的几个问题 1、清楚几个概念，什么是spark, 什么时hadoop？ 2、Hadoop和spark之间什么关系？ 3、为什么选择spark而不是hadoop？ 4、如何

搭建环境 三台机器系统均为ubuntu16.0.4,内存8g,16g,16g.一台做master,另外两台做slave，安装的是jdk1.8.0, hadoop2.7.3, scala2.11.8, spark2.1.0-bin-hadoop2.7 搭建顺序 安装hadoop2.7.3 安装scala2.11.8 安装spark-2.1.0-bin-hadoop2.7 搭建Hadoop2.7.3

首先安装好java，这个可以参考http://www.voidcn.com/article/p-xbdobptx-mz.html 安装Scala 首先在官网中下载好scala，然后解压，并且配置环境变量 tar -avxf scala-2.12.1.tgz sudo mv scala-2.12.1 /usr/lib/ vim ~/.bashrc source ~/.bashrc scala -v

spark介绍 spark是一套并行计算的框架，由于在计算过程中，数据在内存中传递，所有，性能要比hadoop的map/reduce在磁盘中传递的效率高很多。下边在使用hdfs的基础上，安装spark单机环境。 1.启动hadoop服务 2.安装spark程序包 3.启动spark服务器 启动hadoop服务 如过尚未安装hadoop，请参考hadoop安装文档 cd $HADOOP_HOME/s

0: 设置系统登录相关 Master要执行 cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys 如果用root用户 sed -ri 's/^(PermitRootLogin ).*$/\1yes/' /etc/ssh/sshd_config 编辑/etc/hosts 127.0.0.1       localhost   # 别把 spa

在Ubuntu上搭建hadoop和spark集群，1台master(namenode)，3台slave(datanode) 1. 安装Java 1 2 sudo mkdir /usr/local/java/

参考网站：http://www.voidcn.com/article/p-qgbrwjpi-bbe.html spark安装参考网站（强烈推荐）：http://blog.csdn.net/tian_li/article/details/49328517 Storm安装参考网站：http://www.voidcn.com/article/p-qaxvcfjg-gz.html 需要提前安装： 1、Ha

0. 安装PyCharm和spark       下载pycharm   http://www.jetbrains.com/pycharm/       下载spark          http://spark.apache.org/        ps:在安装pycharm前系统需要有java环境 1.安装py4j        $ sudo pip install py4j 2.配置pych

安装sparklyr 1.通过devtools包实现sparklyr包的安装： install.packages("devtools") devtools::install_github("rstudio/sparklyr") 出现问题：安装不上，因为Ubuntu中需要安装一些包 $ sudo apt-get install libcurl4-openssl-dev libssl-dev 2.在本

准备： 1.ubuntu操作系统 2.百度一下 IDEA， 到官网下载IDEA安装包  下载完成解压到指定目录下如： tar -zxvf xxx,xxx -C /opt/idea 运行/optt/idea/xxx/bin/idea.sh如：     sh idea.sh 这个过程中可以选择安装 scala sbt    开始： 3.sbt update gen-idea 4.用idea ope

一、JDK安装 手动解压JDK的压缩包，然后设置环境变量 1.1在/usr/目录下创建java目录 root@ubuntu:~# mkdir/usr/java root@ubuntu:~#  cd /usr/java 1.2 下载jdk,然后解压 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-21331

Ubuntu 16.04 SPARK 开发环境搭建 这里首先是基于Hadoop 已经装好了情况下，安装SPARK. 具体Hadoop 安装 参考：点击打开链接  如果你没安装JDK 请安装，你在安装Hadoop 时候也必须安装JDK 这里也稍微写点初始工作：     1.安装JDK，下载jdk-8u111-linux-x64.tar.gz，解压到/opt/jdk1.8.0_111         

 对于Spark而言，如果大家只是想摸一下、熟悉熟悉而已，可以搭建单机的Spark，大致步骤如下（我使用VMWare下的Ubuntu 14.04，暂不考虑安全问题，在root下运行）：  1、安装Ubuntu 14.04，注意装好后需要禁用防火墙（ufw disable），安装SSH 服务器，启用root用户  2、下载安装JDK-1.8、scala 2.11.8（需要和spark的jar版本配合

一、安装JDK 首先检查是否安装jdk, 以及版本是否符合要求 java -version 1. 官网下载JDK安装包 http://www.oracle.com/technetwork/java/javase/downloads/index.html 这里下载的是：jdk-8u144-linux-x64.tar.gz 2. 将安装包上传到服务器上 3. 解压JDK 创建要安装Scala的目录 s