Hadoop 教程（二）安装hadoop集群-完全分布式部署及API使用

1 前言

本文来搭建hadoop集群，准备三台服务器，分别为hadoop102,hadoop103,hadoop104.其中hadoop 采用3.1.3版本，jdk 采用1.8.0_212 。

2 准备工作

2.1 映射

为了方便直接通过主机名去访问，下面进行映射

1）修改克隆机主机名，以下以hadoop102举例说明

（1）修改主机名称，：修改/etc/hostname文件

[root@hadoop100 ~]# vim /etc/hostname
hadoop102

（2）配置linux克隆机主机名称映射hosts文件，打开/etc/hosts

[root@hadoop100 ~]# vim /etc/hosts
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104

2）重启hadoop102

[root@hadoop100 ~]# reboot

3）修改windows的主机映射文件（hosts文件）

操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可

（a）进入C:\Windows\System32\drivers\etc路径

（b）拷贝hosts文件到桌面

（c）打开桌面hosts文件并添加如下内容

192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104

（d）将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

2.2 安装JDK

1）在Linux系统下的opt目录中下载软件包

[root@hadoop102 ~]$ ls /opt/software/
jdk-8u212-linux-x64.tar.gz

2）解压JDK到/opt/module目录下

[root@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3）配置JDK环境变量

​ （1）新建/etc/profile.d/my_env.sh文件

[root@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

​ （2）保存后退出:wq

​ （3）source一下/etc/profile文件，让新的环境变量PATH生效

[root@hadoop102 ~]$ source /etc/profile

4）测试JDK是否安装成功

[root@hadoop102 ~]$ java -version

如果能看到以下结果，则代表Java安装成功。

java version “1.8.0_212”

注意：重启（如果java -version可以用就不用重启）

[root@hadoop102 ~]$ sudo reboot

2.3 SSH免密码登录

免密登录原理如下图所示：

具体操作如下：

1）生成公钥和私钥：

[root@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

2）将公钥拷贝到要免密登录的目标机器上

[root@hadoop102 .ssh]$ ssh-copy-id hadoop102

[root@hadoop102 .ssh]$ ssh-copy-id hadoop103

[root@hadoop102 .ssh]$ ssh-copy-id hadoop104

这样hadoop102登录到hadoop103和hadoop104就不需要输入密码了。可以相互登录 还需要在hadoop103和hadoop104上做同样的操作。

2.4 编写集群分发脚本

为了在集群中各个主机中文件拷贝方便，我们可以写个脚本用于三台主机中分发文件。

（1）需求：循环复制文件到所有节点的相同目录下

（2）需求分析：

（a）rsync命令原始拷贝：

rsync -av   /opt/module     root@hadoop103:/opt/

（b）期望脚本：

xsync要同步的文件名称

（c）说明：在/home/root/bin这个目录下存放的脚本，root用户可以在系统任何地方直接执行。

（3）脚本实现

（a）在/home/root/bin目录下创建xsync文件

[root@hadoop102 opt]$ cd /home/root
[root@hadoop102 ~]$ mkdir bin
[root@hadoop102 ~]$ cd bin
[root@hadoop102 bin]$ vim xsync

在该文件中编写如下代码

#!/bin/bash
\#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi
\#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 \#3. 遍历所有目录，挨个发送
 for file in $@
 do
  \#4. 判断文件是否存在
  if [ -e $file ]
  then
   \#5. 获取父目录
   pdir=$(cd -P $(dirname $file); pwd)
   \#6. 获取当前文件的名称
   fname=$(basename $file)
   ssh $host "mkdir -p $pdir"
   rsync -av $pdir/$fname $host:$pdir
  else
   echo $file does not exists!
  fi
 done
done

（b）修改脚本 xsync 具有执行权限

[root@hadoop102 bin]$ chmod +x xsync

（c）将脚本复制到/bin中，以便全局调用

[root@hadoop102 bin]$ sudo cp xsync /bin/

（d）测试脚本

[root@hadoop102 ~]$ xsync /home/root/bin
[root@hadoop102 bin]$ sudo xsync /bin/xsync

3 安装hadoop

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1）下载hadoop并进入到Hadoop安装包路径下

[root@hadoop102 ~]$ cd /opt/software/

2）解压安装文件到/opt/module下面

[root@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

3）查看是否解压成功

[root@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3

4）将Hadoop添加到环境变量

​ （1）获取Hadoop安装路径

[root@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3

​ （2）打开/etc/profile.d/my_env.sh文件

sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件末尾添加如下内容：（shift+g）

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出:wq

（4）让修改后的文件生效

[root@hadoop102 hadoop-3.1.3]$ source /etc/profile

5）测试是否安装成功

[root@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3

6）重启(如果Hadoop命令不能用再重启)

[root@hadoop102 hadoop-3.1.3]$ sync
[root@hadoop102 hadoop-3.1.3]$ sudo reboot

4 Hadoop运行模式启动

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。本地允许模式很简单，公司用的大部分是完全分布式模式。

Hadoop官方网站：http://hadoop.apache.org/

4.1 本地运行模式

下面展示hadoop本地运行模式，并成功计算一个wordcout功能

1）创建在hadoop-3.1.3文件下面创建一个wcinput文件夹

[root@hadoop102 hadoop-3.1.3]$ mkdir wcinpu

2）在wcinput文件下创建一个word.txt文件

[root@hadoop102 hadoop-3.1.3]$ cd wcinput

3）编辑word.txt文件

[root@hadoop102 wcinput]$ vim word.txt
hadoop yarn
hadoop mapreduce
root
root

保存退出：：wq

4）回到Hadoop目录/opt/module/hadoop-3.1.3

5）执行程序

[root@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

6）查看结果

[root@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000
root 2
hadoop 2
mapreduce    1
yarn  1

4.2 完全分布式模式

4.2.1 集群规划

准备三台机器，分别安装HDFS和yarn。

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

注意：NameNode和SecondaryNameNode不要安装在同一台服务器

注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

4.2.2 配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：

要获取的默认文件	文件存放在Hadoop的jar包中的位置
[core-default.xml]	hadoop-common-3.1.3.jar/ core-default.xml
[hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/ hdfs-default.xml
[yarn-default.xml]	hadoop-yarn-common-3.1.3.jar/ yarn-default.xml
[mapred-default.xml]	hadoop-mapreduce-client-core-3.1.3.jar/ mapred-default.xml

2）自定义配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

（3）常用端口号说明

Daemon	App	Hadoop2	Hadoop3
NameNode Port	Hadoop HDFS NameNode	8020 / 9000	9820
	Hadoop HDFS NameNode HTTP UI	50070	9870
Secondary NameNode Port	Secondary NameNode	50091	9869
	Secondary NameNode HTTP UI	50090	9868
DataNode Port	Hadoop HDFS DataNode IPC	50020	9867
	Hadoop HDFS DataNode	50010	9866
	Hadoop HDFS DataNode HTTP UI	50075	9864

4.2.3 配置集群

（1）核心配置文件：配置core-site.xml

[root@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[root@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 <configuration>
  <!-- 指定NameNode的地址 -->
  <property>
​    <name>fs.defaultFS</name>
​     <value>hdfs://hadoop102:9820</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
  <property>
​    <name>hadoop.tmp.dir</name>
​    <value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 配HDFS网页登录使用的静态用户为root -->
  <property>
​    <name>hadoop.http.staticuser.user</name>
​    <value>root</value>
</property>
<!-- 配置该root(superUser)允许通过代理访问的主机节点 -->
  <property>
​    <name>hadoop.proxyuser.root.hosts</name>
​    <value>*</value>
</property>
<!-- 配置该root(superUser)允许通过代理用户所属组 -->
  <property>
​    <name>hadoop.proxyuser.root.groups</name>
​    <value>*</value>
</property>
<!-- 配置该root(superUser)允许通过代理的用户-->
  <property>
​    <name>hadoop.proxyuser.root.groups</name>
​    <value>*</value>
</property>
</configuration>

（2）HDFS配置文件:配置hdfs-site.xml

[root@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 <configuration>
  <!-- nn web端访问地址-->
  <property>
​    <name>dfs.namenode.http-address</name>
​    <value>hadoop102:9870</value>
  </property>
  <!-- 2nn web端访问地址-->
  <property>
​    <name>dfs.namenode.secondary.http-address</name>
​    <value>hadoop104:9868</value>
  </property>
</configuration>

（3）YARN配置文件:配置yarn-site.xml

[root@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!-- 指定MR走shuffle -->
  <property>
​     <name>yarn.nodemanager.aux-services</name>
​    <value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址-->
  <property>
​    <name>yarn.resourcemanager.hostname</name>
​    <value>hadoop103</value>
</property>
<!-- 环境变量的继承 -->
  <property>
​    <name>yarn.nodemanager.env-whitelist</name>
  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!-- yarn容器允许分配的最大最小内存 -->
  <property>
​    <name>yarn.scheduler.minimum-allocation-mb</name>
​    <value>512</value>
  </property>
  <property>
​    <name>yarn.scheduler.maximum-allocation-mb</name>
​    <value>4096</value>
</property>
<!-- yarn容器允许管理的物理内存大小 -->
  <property>
​    <name>yarn.nodemanager.resource.memory-mb</name>
​    <value>4096</value>
</property>
<!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
  <property>
​    <name>yarn.nodemanager.pmem-check-enabled</name>
​    <value>false</value>
  </property>
  <property>
​    <name>yarn.nodemanager.vmem-check-enabled</name>
​    <value>false</value>
  </property>
</configuration>

（4）MapReduce配置文件:配置mapred-site.xml

[root@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!-- 指定MapReduce程序运行在Yarn上 -->
  <property>
​    <name>mapreduce.framework.name</name>
​    <value>yarn</value>
  </property>
</configuration>

4）在集群上分发配置好的Hadoop配置文件，将配置文件同步到hadoop103和hadoop104

[root@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

5）去103和104上查看文件分发情况

[root@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[root@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

4.2.4 启动集群

1）配置workers

[root@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件

[root@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

2）启动集群

​ （1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

[root@hadoop102 ~]$ hdfs namenode -format

（2）启动HDFS

[root@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

（3）在配置了ResourceManager的节点（hadoop103）启动YARN

[root@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode

​ （a）浏览器中输入：http://hadoop102:9870

​ （b）查看HDFS上存储的数据信息

（5）Web端查看YARN的ResourceManager

​ （a）浏览器中输入：http://hadoop103:8088

​ （b）查看YARN上运行的Job信息

4.2.5 集群基本测试

HDFS相当于一个文件存储框架，搭好集群后，可以在集群去对文件进行操作，上传，下载，删除，查看等。

（1）上传文件到集群

​ 上传小文件

[root@hadoop102 ~]$ hadoop fs -mkdir /input
[root@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

​ 上传大文件

[root@hadoop102 ~]$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

（2）上传文件后查看文件存放在什么位置

（a）查看HDFS文件存储路径

[root@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0

（b）查看HDFS在磁盘存储文件内容

[root@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce 
root
root

（3）下载

[root@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

（4）执行wordcount程序

[root@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

4.2.6 集群启动/停止方式总结

1）各个服务组件逐一启动/停止

​ （1）分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

​ （2）启动/停止YARN

yarn --daemon start/stop resourcemanager/nodemanager

2）各个模块分开启动/停止（配置ssh是前提）常用

​ （1）整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

​ （2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

4.2.7 编写hadoop集群常用脚本

(1）查看三台服务器java进程脚本：jpsall

[root@hadoop102 ~]$ cd /home/root/bin
[root@hadoop102 ~]$ vim jpsall

然后输入

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
​    echo =============== $host ===============
​    ssh $host jps $@ | grep -v Jps
done

保存后退出，然后赋予脚本执行权限

[root@hadoop102 bin]$ chmod +x jpsall

（2）hadoop集群启停脚本（包含hdfs，yarn，historyserver）：myhadoop.sh

[root@hadoop102 ~]$ cd /home/root/bin
[root@hadoop102 ~]$ vim myhadoop.sh

然后输入

#!/bin/bash

if [ $# -lt 1 ]
then
  echo "No Args Input..."
  exit ;
fi
case $1 in
"start")
​    echo " =================== 启动 hadoop集群 ==================
​    echo " --------------- 启动 hdfs ---------------"
​    ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
​    echo " --------------- 启动 yarn ---------------"
​    ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
​    echo " --------------- 启动 historyserver ---------------"
​    ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;

"stop")
​    echo " =================== 关闭 hadoop集群 ===================
​    echo " --------------- 关闭 historyserver ---------------"
​    ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
​    echo " --------------- 关闭 yarn ---------------"
​    ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
​    echo " --------------- 关闭 hdfs ---------------"
​    ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"

;;

*)
  echo "Input Args Error..."

;;
esac

保存后退出，然后赋予脚本执行权限

[root@hadoop102 bin]$ chmod +x myhadoop.sh

3）分发/home/root/bin目录，保证自定义脚本在三台机器上都可以使用

[root@hadoop102 ~]$ xsync /home/root/bin/

5 hdfs常用shell操作

5.1 基本语法

hadoop fs 具体命令 OR hdfs dfs 具体命令

两个是完全相同的。

5.2 命令大全

查看所有命令

[root@hadoop102 hadoop-3.1.3]$ bin/hadoop fs

5.3 常用命令实操

5.3.1 准备工作

1）启动Hadoop集群（方便后续的测试）

[root@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[root@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

2）-help：输出这个命令参数

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -help rm

5.3.2 上传

1）-moveFromLocal：从本地剪切粘贴到HDFS

[root@hadoop102 hadoop-3.1.3]$ touch kongming.txt
[root@hadoop102 hadoop-3.1.3]$ hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo

2）-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -copyFromLocal README.txt /

3）-appendToFile：追加一个文件到已经存在的文件末尾

[root@hadoop102 hadoop-3.1.3]$ touch liubei.txt
[root@hadoop102 hadoop-3.1.3]$ vi liubei.txt
san gu mao lu
[root@hadoop102 hadoop-3.1.3]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt

4）-put：等同于copyFromLocal

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -put ./liubei.txt /user/root/test/

5.3.3 下载

1）-copyToLocal：从HDFS拷贝到本地

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./

2）-get：等同于copyToLocal，就是从HDFS下载文件到本地

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -get /sanguo/shuguo/kongming.txt ./

3）-getmerge：合并下载多个文件，比如HDFS的目录 /user/root/test下有多个文件:log.1, log.2,log.3,…

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -getmerge /user/root/test/* ./zaiyiqi.txt

5.3.4 HDFS直接操作

1）-ls: 显示目录信息

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -ls /

2）-mkdir：在HDFS上创建目录

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir -p /sanguo/shuguo

3）-cat：显示文件内容

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -cat /sanguo/shuguo/kongming.txt

4）-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -chmod 666 /sanguo/shuguo/kongming.txt
[root@hadoop102 hadoop-3.1.3]$ hadoop fs -chown root:root  /sanguo/shuguo/kongming.txt

5）-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

6）-mv：在HDFS目录中移动文件

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /zhuge.txt /sanguo/shuguo/

7）-tail：显示一个文件的末尾1kb的数据

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -tail /sanguo/shuguo/kongming.txt

8）-rm：删除文件或文件夹

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -rm /user/root/test/jinlian2.txt

9）-rmdir：删除空目录

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /test
[root@hadoop102 hadoop-3.1.3]$ hadoop fs -rmdir /test

10）-du统计文件夹的大小信息

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -du -s -h /user/root/test

11）-setrep：设置HDFS中文件的副本数量

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。

6 hdfs的API操作

6.1 准备Windows关于Hadoop的开发环境

1）找到资料目录下的Windows依赖目录，打开：

选择Hadoop-3.1.0，拷贝到其他地方(比如d:)。
2）配置HADOOP_HOME环境变量。

3）配置Path环境变量。然后重启电脑

4）创建一个Maven工程HdfsClientDemo，并导入相应的依赖坐标+日志添加

<dependencies>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
    </dependency>
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-slf4j-impl</artifactId>
        <version>2.12.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.1.3</version>
    </dependency>
</dependencies>
在项目的src/main/resources目录下，新建一个文件，命名为“log4j2.xml”，在文件中填入
<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="error" strict="true" name="XMLConfig">
    <Appenders>
        <!-- 类型名为Console，名称为必须属性 -->
        <Appender type="Console" name="STDOUT">
            <!-- 布局为PatternLayout的方式，
            输出样式为[INFO] [2018-01-22 17:34:01][org.test.Console]I'm here -->
            <Layout type="PatternLayout"
                    pattern="[%p] [%d&#123;yyyy-MM-dd HH:mm:ss&#125;][%c&#123;10&#125;]%m%n" />
        </Appender>

    </Appenders>

    <Loggers>
        <!-- 可加性为false -->
        <Logger name="test" level="info" additivity="false">
            <AppenderRef ref="STDOUT" />
        </Logger>

        <!-- root loggerConfig设置 -->
        <Root level="info">
            <AppenderRef ref="STDOUT" />
        </Root>
    </Loggers>
</Configuration>

5）创建包名：com.atguigu.hdfs
6）创建HdfsClient类

public class HdfsClient{    
@Test
public void testMkdirs() throws IOException, InterruptedException, URISyntaxException{

        // 1 获取文件系统
        Configuration configuration = new Configuration();
        // 配置在集群上运行
        // configuration.set("fs.defaultFS", "hdfs://hadoop102:9820");
        // FileSystem fs = FileSystem.get(configuration);

        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9820"), configuration, "atguigu");

        // 2 创建目录
        fs.mkdirs(new Path("/1108/daxian/banzhang"));

        // 3 关闭资源
        fs.close();
    }
}

7）执行程序
运行时需要配置用户名称

客户端去操作HDFS时，是有一个用户身份的。默认情况下，HDFS客户端API会从JVM中获取一个参数来作为自己的用户身份：-DHADOOP_USER_NAME=atguigu，atguigu为用户名称。

6.2 HDFS的API操作

6.2.1 HDFS文件上传（测试参数优先级）

1）编写源代码

@Test
public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException {

        // 1 获取文件系统
        Configuration configuration = new Configuration();
        configuration.set("dfs.replication", "2");
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration, "atguigu");

        // 2 上传文件
        fs.copyFromLocalFile(new Path("e:/banzhang.txt"), new Path("/banzhang.txt"));

        // 3 关闭资源
        fs.close();

        System.out.println("over");
｝

2）将hdfs-site.xml拷贝到项目的根目录下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>dfs.replication</name>
         <value>1</value>
    </property>
</configuration>

3）参数优先级
参数优先级排序：（1）客户端代码中设置的值 >（2）ClassPath下的用户自定义配置文件 >（3）然后是服务器的自定义配置(xxx-site.xml) >（4）服务器的默认配置(xxx-default.xml)

6.2.2 HDFS文件下载

@Test
public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{

        // 1 获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9820"), configuration, "atguigu");

        // 2 执行下载操作
        // boolean delSrc 指是否将原文件删除
        // Path src 指要下载的文件路径
        // Path dst 指将文件下载到的路径
        // boolean useRawLocalFileSystem 是否开启文件校验
        fs.copyToLocalFile(false, new Path("/banzhang.txt"), new Path("e:/banhua.txt"), true);

        // 3 关闭资源
        fs.close();
}

6.2.3 HDFS删除文件和目录

@Test
public void testDelete() throws IOException, InterruptedException, URISyntaxException{

    // 1 获取文件系统
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9820"), configuration, "atguigu");

    // 2 执行删除
    fs.delete(new Path("/0508/"), true);

    // 3 关闭资源
    fs.close();
}

6.2.4 HDFS文件更名和移动

@Test
public void testRename() throws IOException, InterruptedException, URISyntaxException{

    // 1 获取文件系统
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9820"), configuration, "atguigu"); 

    // 2 修改文件名称
    fs.rename(new Path("/banzhang.txt"), new Path("/banhua.txt"));

    // 3 关闭资源
    fs.close();
}

6.2.5 HDFS文件详情查看

//查看文件名称、权限、长度、块信息
@Test
public void testListFiles() throws IOException, InterruptedException, URISyntaxException{

    // 1获取文件系统
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9820"), configuration, "atguigu"); 

    // 2 获取文件详情
    RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);

    while(listFiles.hasNext())&#123;
        LocatedFileStatus status = listFiles.next();

        // 输出详情
        // 文件名称
        System.out.println(status.getPath().getName());
        // 长度
        System.out.println(status.getLen());
        // 权限
        System.out.println(status.getPermission());
        // 分组
        System.out.println(status.getGroup());

        // 获取存储的块信息
        BlockLocation[] blockLocations = status.getBlockLocations();

        for (BlockLocation blockLocation : blockLocations) &#123;

            // 获取块存储的主机节点
            String[] hosts = blockLocation.getHosts();

            for (String host : hosts) &#123;
                System.out.println(host);
            &#125;
        &#125;

        System.out.println("-----------班长的分割线----------");
    &#125;

// 3 关闭资源
fs.close();
&#125;

6.2.6 HDFS文件和文件夹判断

@Test
public void testListStatus() throws IOException, InterruptedException, URISyntaxException{


    // 1 获取文件配置信息
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9820"), configuration, "atguigu");

    // 2 判断是文件还是文件夹
    FileStatus[] listStatus = fs.listStatus(new Path("/"));

    for (FileStatus fileStatus : listStatus) {

        // 如果是文件
        if (fileStatus.isFile()) {
                System.out.println("f:"+fileStatus.getPath().getName());
            }else {
                System.out.println("d:"+fileStatus.getPath().getName());
            }
        }

    // 3 关闭资源
    fs.close();
}