Java实现HDFS文件读取和写入操作(Hadoop2.6.0版本)
准备工作:虚拟机打开,使用start-all.sh命令启动Hadoop。使用jps命令可以查看是否全部启动。打开IDEA,创建一个maven项目。在pom.xml里导入依赖,如下:<properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><maven.comp
·
准备工作:
虚拟机打开,使用start-all.sh
命令启动Hadoop。使用jps
命令可以查看是否全部启动。
打开IDEA,创建一个maven项目。在pom.xml里导入依赖,如下:
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<hadoop-version>2.6.0</hadoop-version>
</properties>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>${hadoop-version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>${hadoop-version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>${hadoop-version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-common</artifactId>
<version>${hadoop-version}</version>
</dependency>
不添加properties
那一项的话可以直接将下面的version
改成2.6.0。
等待maven去下载依赖构建项目。
操作步骤:
准备就绪后,开始编写代码,创建一个Java类(名字随意)。
在类中写两个方法,一个hdfsReadFile
(读取),一个hdfsWriterFile
(写入)。
编写程序,如下:
public static void hdfsReadFile(String hdfsFile,String hdfsUrl,String fileName) throws Exception
{
// 创建配置对象实例
Configuration cfg = new Configuration();
//设置操作的文件系统是HDFS,并且指定HDFS操作地址
cfg.set("fs.defaultFS",hdfsUrl);
//创建FileSystem 对象实例
FileSystem fileSystem = FileSystem.get(cfg);
if(!fileSystem.exists(new Path(hdfsFile)))
{
throw new Exception("要下载的文件内容不存在。");
}
try {
//读取操作,从hdfs指定的文件读出数据对象
FSDataInputStream fsdiStream = fileSystem.open(new Path(hdfsFile));
try {
FileOutputStream fileOutputStream = new FileOutputStream(fileName);
try {
byte[] buffer = new byte[2048];
int count = fsdiStream.read(buffer, 0, 2048);
while (count > 0) {
fileOutputStream.write(buffer,0,count);
count = fsdiStream.read(buffer,0,2048);
}
} catch (Exception e) {
e.printStackTrace();
}
finally {
fileOutputStream.close();
}
} catch (FileNotFoundException e) {
e.printStackTrace();
}
finally {
fsdiStream.close();
}
} catch (IOException e) {
e.printStackTrace();
} catch (IllegalArgumentException e) {
e.printStackTrace();
}
}
public static void hdfsWriterFile(String fileName,String hdfsUrl,String hdfsFile) throws Exception
{
Configuration cfg = new Configuration();
cfg.set("fs.defaultFS",hdfsUrl);
FileSystem fileSystem = FileSystem.get(cfg);
if(fileSystem.exists(new Path(hdfsFile)))
{
throw new Exception("文件已存在。");
}
try {
//输出流对象,将数据输出到HDFS文件系统
FSDataOutputStream fsDataOutputStream = fileSystem.create(new Path(hdfsFile));
try {
//输出流对象,将本地要上传的文件读取到内存中
FileInputStream fileInputStream = new FileInputStream(fileName);
try {
byte[] buffer = new byte[2048];
int count = fileInputStream.read(buffer, 0, 2048);
while (count > 0) {
fsDataOutputStream.write(buffer,0,count);
count = fileInputStream.read(buffer,0,2048);
}
} catch (IOException e) {
e.printStackTrace();
}finally {
fileInputStream.close();
}
} catch (FileNotFoundException e) {
e.printStackTrace();
}finally {
fsDataOutputStream.close();
}
}catch (IOException e)
{
e.printStackTrace();
}
}
读取和写入方法编写完成后,编写主函数用来测试调用。
public static void main(String[] args) throws Exception {
hdfsWriterFile("D:\\IDEAprojects\\hadoopstu\\resource\\helloworld.txt","hdfs://192.168.91.137:9000/","hdfs://192.168.91.137:9000/input/hw.txt");
//hdfsReadFile("hdfs://192.168.91.137:9000/input/hw.txt","hdfs://192.168.91.137:9000/","D:\\1111\\hw.txt");
}
首先测试写入能不能成功,测试内容是将本地项目包下的一个txt文件写入到HDFS中,点击运行。
进入到HDFS可视化界面中可以看到写入成功!
接着测试读取是否成功,运行程序。
进入到D盘1111文件夹下,可以看到已经生成了hw.txt,读取成功!
更多推荐
已为社区贡献15条内容
所有评论(0)