准备工作:

虚拟机打开,使用start-all.sh命令启动Hadoop。使用jps命令可以查看是否全部启动。
在这里插入图片描述
打开IDEA,创建一个maven项目。在pom.xml里导入依赖,如下:

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <hadoop-version>2.6.0</hadoop-version>
  </properties>
<dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>${hadoop-version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>${hadoop-version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-core</artifactId>
      <version>${hadoop-version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-common</artifactId>
      <version>${hadoop-version}</version>
    </dependency>

不添加properties那一项的话可以直接将下面的version改成2.6.0。
等待maven去下载依赖构建项目。

操作步骤:

准备就绪后,开始编写代码,创建一个Java类(名字随意)。
在类中写两个方法,一个hdfsReadFile(读取),一个hdfsWriterFile(写入)。
编写程序,如下:

 public static void hdfsReadFile(String hdfsFile,String hdfsUrl,String fileName) throws Exception
    {
    	// 创建配置对象实例
        Configuration cfg = new Configuration();
        //设置操作的文件系统是HDFS,并且指定HDFS操作地址
        cfg.set("fs.defaultFS",hdfsUrl);
        //创建FileSystem 对象实例
        FileSystem fileSystem = FileSystem.get(cfg);
        if(!fileSystem.exists(new Path(hdfsFile)))
        {
            throw new Exception("要下载的文件内容不存在。");
        }
        try {
            //读取操作,从hdfs指定的文件读出数据对象
            FSDataInputStream fsdiStream = fileSystem.open(new Path(hdfsFile));

            try {
                FileOutputStream fileOutputStream = new FileOutputStream(fileName);

                try {
                    byte[] buffer = new byte[2048];
                    int count = fsdiStream.read(buffer, 0, 2048);
                    while (count > 0) {
                        fileOutputStream.write(buffer,0,count);
                        count = fsdiStream.read(buffer,0,2048);
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
                finally {
                    fileOutputStream.close();
                }
            } catch (FileNotFoundException e) {
                e.printStackTrace();
            }
            finally {
                fsdiStream.close();
            }

        } catch (IOException e) {
            e.printStackTrace();
        } catch (IllegalArgumentException e) {
            e.printStackTrace();
        }
    }
public static void hdfsWriterFile(String fileName,String hdfsUrl,String hdfsFile) throws Exception
    {
        Configuration cfg = new Configuration();
        cfg.set("fs.defaultFS",hdfsUrl);
        FileSystem fileSystem = FileSystem.get(cfg);
        if(fileSystem.exists(new Path(hdfsFile)))
        {
            throw new Exception("文件已存在。");
        }

        try {
            //输出流对象,将数据输出到HDFS文件系统
            FSDataOutputStream fsDataOutputStream = fileSystem.create(new Path(hdfsFile));
            try {
                //输出流对象,将本地要上传的文件读取到内存中
                FileInputStream fileInputStream = new FileInputStream(fileName);

                try {
                    byte[] buffer = new byte[2048];
                    int count = fileInputStream.read(buffer, 0, 2048);
                    while (count > 0) {
                        fsDataOutputStream.write(buffer,0,count);
                        count = fileInputStream.read(buffer,0,2048);
                    }
                } catch (IOException e) {
                    e.printStackTrace();
                }finally {
                    fileInputStream.close();
                }


            } catch (FileNotFoundException e) {
                e.printStackTrace();
            }finally {
                fsDataOutputStream.close();
            }
        }catch (IOException e)
        {
            e.printStackTrace();
        }
    }

读取和写入方法编写完成后,编写主函数用来测试调用。

public static void main(String[] args) throws Exception {
        hdfsWriterFile("D:\\IDEAprojects\\hadoopstu\\resource\\helloworld.txt","hdfs://192.168.91.137:9000/","hdfs://192.168.91.137:9000/input/hw.txt");
        //hdfsReadFile("hdfs://192.168.91.137:9000/input/hw.txt","hdfs://192.168.91.137:9000/","D:\\1111\\hw.txt");
    }

首先测试写入能不能成功,测试内容是将本地项目包下的一个txt文件写入到HDFS中,点击运行。
在这里插入图片描述
进入到HDFS可视化界面中可以看到写入成功!
接着测试读取是否成功,运行程序。
在这里插入图片描述
进入到D盘1111文件夹下,可以看到已经生成了hw.txt,读取成功!

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐