基于Java API实现HDFS文件的操作

文
章
目
录

准备

使用Java API操作HDFS中文件主要涉及如下几个类：
1）Configuration类:该类的对象封装了客户端或者服务器的配置。
2）FileSystem 类:该类的对象是一个文件系统对象，可以用该对象的一些方法对文件进行操作。FileSystem fs = FileSystem.get(conf);通过FileSystem的静态方法get获得该对象。
3）FSDatalnputStream 和FSDataOutputStream:这两个类是HDFS中的输入/输出流，分别通过FileSystem的open 方法和create方法获得。

代码实现

以下我们会通过实例代码来介绍如何利用Java API进行文件夹的创建、文件列表显示、文件上传的文件下载的操作。

1、创建Maven项目

我们基于Maven创建一个java项目，使用的archetype为maven-archetype-quickstart，在此不再赘述

2、添加依赖

我们在pom.xml中添加HDFS操作的相关依赖（依赖版本尽量与安装的hadoop版本一致），如下：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>3.2.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.2.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>3.2.1</version>
</dependency>

2、创建测试类

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * <h3>hdfs</h3>
 *
 * @author panziye
 * @description <p></p>
 * @date 2021-04-22 12:30
 **/
public class TestHDFS {
    //1.创建文件夹
    public static void createFloder(){
        //定义一个配置对象
        Configuration conf = new Configuration();
        try {
            //URI对象通过使用HDFS协议指定HDFS文件系统配置的节点地址,ip可换为主机映射名
            URI uri = new URI("hdfs://192.168.55.100:9820");
            //根据配置信息获取文件系统对象
            FileSystem fs = FileSystem.get(uri, conf);
            //在指定路径下创建文件夹
            Path path = new Path("/yunpan");
            fs.mkdirs(path);
        } catch (URISyntaxException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    //2.上传文件
    public static void uploadFile(){
        //定义一个配置对象
        Configuration conf = new Configuration();
        try {
            //URI对象
            URI uri = new URI("hdfs://192.168.55.100:9820");
            //根据配置信息获取文件系统对象
            FileSystem fs = FileSystem.get(uri, conf);
            //定义文件的路径和上传路径
            Path src = new Path("D://hello.txt");
            Path dest = new Path("/yunpan/hello.txt");
            //从本地上传到文件服务器上
            fs.copyFromLocalFile(src,dest);
        } catch (URISyntaxException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    //3.递归显示文件
    public static void listFile(Path path){
        //定义一个配置对象
        Configuration conf = new Configuration();
        try {
            //URI对象
            URI uri = new URI("hdfs://192.168.55.100:9820");
            //根据配置信息获取文件系统对象
            FileSystem fs = FileSystem.get(uri, conf);
            // true 表示递归查找 ； false 表示不进行递归查找
            RemoteIterator<LocatedFileStatus> iterator = fs.listFiles(path, true);
            while (iterator.hasNext()){
                LocatedFileStatus next = iterator.next();
                System.out.println("当前文件路径是："+next.getPath());
            }
            System.out.println("-------------------------------------");
            //将给定path路径下的所有文件元数据放到一个FileStatus的数组中
            //FileStatus对象封装了文件和目录的元数据，包括文件长度、块大小、权限等
            final FileStatus[] fileStatusArray = fs.listStatus(path);
            for (int i = 0; i < fileStatusArray.length; i++) {
                FileStatus fileStatus = fileStatusArray[i];
                System.out.println(fileStatus.getPath());
            }
        } catch (URISyntaxException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    //4.下载文件
    public static void downloadFile(){
        //定义一个配置对象
        Configuration conf = new Configuration();
        try {
            //URI对象
            URI uri = new URI("hdfs://192.168.55.100:9820");
            //根据配置信息获取文件系统对象
            FileSystem fs = FileSystem.get(uri, conf);
            //定义下载文件的路径和本地存放路径
            Path src = new Path("/yunpan/hello.txt");
            Path dest = new Path("E://hello.txt");
            //从文件服务器下载到本地
            fs.copyToLocalFile(src,dest);
        } catch (URISyntaxException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    //main方法
    public static void main(String[] args) {
        //设置操作用户
        System.setProperty("HADOOP_USER_NAME","hadoop");
        //1.创建新文件夹
        //createFloder();

        //2.上传文件
        //uploadFile();

        //3.递归显示文件
        //listFile(new Path("/"));

        //4.下载文件
        downloadFile();
    }
}

注意：
1）如果报错org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator，请参考：

解决org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator

我们在使用Java API操作HDFS时如果出现如下错误提示：表明我们没有使用正确的用户操作HDFS，即没有 […]