1、设备：Ubuntu镜像：ubuntu-18.04.2-desktop-amd64.iso  hadoop: hadoop-2.6.5.tar.gz  jdk:  jdk-linux-x64.tar.gz  Eclipse:eclipse-java-2020-03-R-linux-gtk-x86_64.tar.gz2、安装SSH,设置SSH无密码登陆1）更新软件资源列表

一、配置windows上的hadoop环境变量1、将hadoop压缩包解压至任意位置，路径最好不要带中文或空格2、将Window编译后的hadoop文件放到解压出来的hadoop文件夹的bin目录下3、在环境变量中配置HADOOP_HOME5、在环境变量的PATH中添加%HADOOP_HOME%\bin和%HADOOP_HOME%\sbin二、E

2020-04-15在上一篇文章中介绍了Linux虚拟机的安装，Hadoop的安装和配置，这里接着上一篇的内容，讲Hadoop的简要介绍和简单使用。 1、首先要了解Hadoop的目录：（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件（3）lib目录：存放

同上一部分的内容，在进行二分类问题时，逻辑斯蒂回归也是一种常用的分类方法。逻辑斯蒂回归使用了一个Sigmoid函数来作为核心的内容来实现分类的思想，接下里介绍在Pyspark中使用MLlib来实现逻辑斯蒂回归。第一步：导入需要的库函数importsysfromtimeimporttimeimportpandasasp

HDFS(Hadoopdistributedfilesystem):Namenode:Datanode管理メタ情報管理 Datanode:分散してファイルを保存同じファイルが三つのノード以上に保持し、Datanodeの障害に対応できるように設定するのが一般的 クライアントは①Namenodeにメタ情報を問い合わせ②Datanode上

 1.tar解压hadoop软件安装tar-vxfhadoop-2.7.1_64bit.tar.gz 2.添加环境变量vim /etc/profile#hadoopexportHADOOP_HOME=/software/hadoop-2.7.1exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin3.source/etc/profile生效  

一，基础环境安装准备1.修改主机名hostnamectlset-hostnamehadoop (Ctrl+D重新连接)2.关闭防火墙systemctlstopfirewalldsystemctldisablefirewalld3.修改hosts文件vi/etc/hosts192.168.200.2hadoop二，安装jdk1.新建tgz目录，（将安装包放入创建的tgz目录下）

朴素贝叶斯是一种经典的分类方法，其原理在高中或大学的概率论部分学习了很多了，下面开始介绍在Spark环境下使用MLlib来使用Naive Bayes来对网站性质进行分类判断。第一步：导入库函数importsysfromtimeimporttimeimportpandasaspdimportmatplotlib.pyplotaspltfrompysp

Hadoop部分工作流程图一、文件上传二、文件下载三、元数据（Secondarynamenode）

一、介绍    Hadoop2.0中，2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制，QuorumJournalNode（JournalNode）集群或者NnetworkFileSystem（NFS）进行共享。NFS是操作系统层面的，JournalNode是hadoop层面的，我们这里使用JournalNode集群进行数据共享（这也是主流的做法）。

随机返回指定行数的样本数据hadoopfs-catest/gonganbu/scene_analysis_suggestion/*|shuf-n5返回前几行的样本数据hadoopfs-catest/gonganbu/scene_analysis_suggestion/*|head-100返回最后几行的样本数据hadoopfs-catest/gonganbu/scene_analysis_suggesti

使用java操作HDFS需要使用到的jar包将hadoop的tar.gz包解压，里面的lib下的所有jar包，share/hadoop目录下的common和hdfs文件下的所有jar包以及Hadoop-common-2.7.7、Hadoop-hdfs-2.7.7、hadoop-client-2.7.7这三个jar包。常用的操作1.连接至hdfs @Testpublicvoidconnec

前言：好些年没有写博客了。最近公司很忙很忙，在从早到晚连轴转的情况下，感觉需要花点多思考思考自己的事情。从03年高一正式学习编程算起，已经经过了17年了。工作也十年了。回想起这17年，突然有种想记录一下流水账：一方面不希望有些东西之后忘记了，另一方面也希望自己的经历和教训能够

重温MR整体流程工作流程  开始执行输入（InputFormat），先对文件进行分片，然后读取数据输入到Map中。Mapper读取输入内容，解析成键值对，1行内容解析成1个键值对，每个键值对调用一次map方法。每个键值对执行map重写的方法，把输入的键值对转换成新的键值对。多个Mapper的输

HDFS实践文章背景NameNode负载和扩展性问题拆RPC端口以及拆NameSpace组成FederationBalancer负载转移和搬迁优化拆分日志相关的NameSpace降低负载NameNode用户的拥塞控制异步化各种操作提高NameNode的吞吐量块汇报的优化NameNode锁时间追踪Decommission的改进Qos保障，业务控

问题：presto查询hiveTextInputFormat格式表错误：解决：复制hadoopshare/hadoop下的相关jar包（lzo）到prestoplugins/hive-hadoop2（配置文件指定）下；机器安装lzop；重启presto参考：https://github.com/prestodb/presto/issues/8840