写入数据:

一、开启eclipse

打开虚拟机后,开启Hadoop集群,cd到eclipse的安装目录,输入命令./eclipse打开eclipse。

二、创建项目

  1. 点击左边空白处,单击右键,依次点击New—> Project…
    在这里插入图片描述
  2. 出现如下界面后,我们选择Map/Reduce Project,然后点击Next。
    在这里插入图片描述
  3. 在出现的界面当中,我们输入项目的名称,然后点击Next即可,在接下来的页面中点击finish,即可完成项目的创建。
    在这里插入图片描述
  4. 然后我们在新建好的项目中新建一个包,命名为WriteFile,然后点击finish即可。
    在这里插入图片描述
    在这里插入图片描述
  5. 然后我们在新建的包下新建一个类,命名为WriteFile,然后点击finish即可。
    在这里插入图片描述
    在这里插入图片描述
  6. 接下来我们写如代码:
package WriteFile;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WriteFile {
public static void main(String[] args)throws Exception{
try{
Configuration conf = new Configuration();
 conf.set("fs.defaultFS","hdfs://master:9000");
 conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem hdfs = FileSystem.get(conf);

byte[] buff = "Hello world hello NXY".getBytes(); // 要写入的内容
 String filename = "/input/test_write_nxy"; //要写入的文件名
 FSDataOutputStream os = hdfs.create(new Path(filename));
 os.write(buff,0,buff.length);
 System.out.println("Create:"+ filename);
 os.close();
 hdfs.close();
}
catch (Exception e) {
 e.printStackTrace();
 }
}
}
  1. 我们右键依次点击Run As—>Run on Hadoop,运行结果如下:
    在这里插入图片描述
  2. 然后我们打开左边的DFS Locations中的input,刷新一次,即可看到写入的文件。
    在这里插入图片描述
    以上,一次写入的过程就完成了!

读出数据:

前面的步骤与写入数据一样,我们创建名为ReadFile的项目、名为ReadFile的包、名为ReadFile的类,然后写入代码:

package ReadFile;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FSDataInputStream;
public class ReadFile{
 public static void main(String[] args){
 try{
 Configuration conf = new Configuration();
 conf.set("fs.defaultFS","hdfs://master:9000");

conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
 FileSystem fs = FileSystem.get(conf);
 Path file = new Path("/input/test0nxy.txt"); //所要读取文件的路径
 FSDataInputStream getIt = fs.open(file);
 BufferedReader d = new BufferedReader(new InputStreamReader(getIt));
 String content = d.readLine(); //读取文件一行
 System.out.println(content);
 d.close(); //关闭文件
 fs.close(); //关闭 hdfs
 } catch (Exception e) {
 e.printStackTrace();
 }
}
}

我们右键依次点击Run As—>Run on Hadoop,运行结果如下:
在这里插入图片描述
如图,就已经完成了一次文件的读数据的过程。

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐