在Linux下的eclipse中编程实现HDFS的数据读写过程
写入数据:一、开启eclipse打开虚拟机后,开启Hadoop集群,cd到eclipse的安装目录,输入命令./eclipse打开eclipse。二、创建项目点击左边空白处,单击右键,依次点击New—> Project…出现如下界面后,我们选择Map/Reduce Project,然后点击Next。在出现的界面当中,我们输入项目的名称,然后点击Next即可,在接下来的页面中...
·
写入数据:
一、开启eclipse
打开虚拟机后,开启Hadoop集群,cd到eclipse的安装目录,输入命令./eclipse
打开eclipse。
二、创建项目
- 点击左边空白处,单击右键,依次点击New—> Project…
- 出现如下界面后,我们选择Map/Reduce Project,然后点击Next。
- 在出现的界面当中,我们输入项目的名称,然后点击Next即可,在接下来的页面中点击finish,即可完成项目的创建。
- 然后我们在新建好的项目中新建一个包,命名为WriteFile,然后点击finish即可。
- 然后我们在新建的包下新建一个类,命名为WriteFile,然后点击finish即可。
- 接下来我们写如代码:
package WriteFile;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WriteFile {
public static void main(String[] args)throws Exception{
try{
Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://master:9000");
conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem hdfs = FileSystem.get(conf);
byte[] buff = "Hello world hello NXY".getBytes(); // 要写入的内容
String filename = "/input/test_write_nxy"; //要写入的文件名
FSDataOutputStream os = hdfs.create(new Path(filename));
os.write(buff,0,buff.length);
System.out.println("Create:"+ filename);
os.close();
hdfs.close();
}
catch (Exception e) {
e.printStackTrace();
}
}
}
- 我们右键依次点击Run As—>Run on Hadoop,运行结果如下:
- 然后我们打开左边的DFS Locations中的input,刷新一次,即可看到写入的文件。
以上,一次写入的过程就完成了!
读出数据:
前面的步骤与写入数据一样,我们创建名为ReadFile的项目、名为ReadFile的包、名为ReadFile的类,然后写入代码:
package ReadFile;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FSDataInputStream;
public class ReadFile{
public static void main(String[] args){
try{
Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://master:9000");
conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem fs = FileSystem.get(conf);
Path file = new Path("/input/test0nxy.txt"); //所要读取文件的路径
FSDataInputStream getIt = fs.open(file);
BufferedReader d = new BufferedReader(new InputStreamReader(getIt));
String content = d.readLine(); //读取文件一行
System.out.println(content);
d.close(); //关闭文件
fs.close(); //关闭 hdfs
} catch (Exception e) {
e.printStackTrace();
}
}
}
我们右键依次点击Run As—>Run on Hadoop,运行结果如下:
如图,就已经完成了一次文件的读数据的过程。
更多推荐
已为社区贡献2条内容
所有评论(0)