利用eclipse使用java代码操作虚拟机的hdfs的基础教程
新建一个maven项目。点击File,new,mavenProject:然后把 groupId和ArtifactId随便写上就行创建好之后打开pom.xml文件:把hdfs操作需要的依赖添加进行:<dependency><groupId>org.apache.hadoop</groupId>...
新建一个maven项目。点击File,new,mavenProject:
然后把 groupId和ArtifactId随便写上就行
创建好之后打开pom.xml文件:把hdfs操作需要的依赖添加进行:
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.0</version>
</dependency>
<!-- hdfs-->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.6.0</version>
</dependency>
然后开始建包:
然后开始写代码操作hdfs:
package hdfs;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URI;
import java.net.URISyntaxException;
import java.nio.charset.Charset;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.codehaus.jackson.util.BufferRecycler;
public class HdfsDemo {
public static void main(String[] args) throws URISyntaxException, IOException {
//首先获取hdfs的集群访问地址,namenode的地址
//在这之前我需要对hdfs中添加一下信息:
/*1:设置dfs权限打开true
hdfs-site.xml文件
<property>
<name>dfs.permissions</name>
<value>true</value>
</property>*/
URI uri = new URI("hdfs://192.168.25.200:9000");
//创建一个配置文件对象
Configuration conf = new Configuration();
//创建hdsf文件系统对象
FileSystem fs = FileSystem.get(uri, conf);
//使用创建hdfs文件的方法
fs.create(new Path("/hdfs001"));
//当我删除时候必须先创建删除,把上面的注释掉
fs.delete(new Path("/hdfs001"));
//查看路径信息
FileStatus[] fileStatuses = fs.listStatus(new Path("/home/data.csv"));
for (FileStatus fileStatus : fileStatuses) {
System.out.println(fileStatus);
}
//读取hdfs上的文件:
FSDataInputStream in = fs.open(new Path("/home/data.txt"));
BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(in,"UTF-8"));
String line = null;
while ((line = bufferedReader.readLine())!=null ) {
System.out.println(line);
in.close();//关闭流操作
}
}
}
更多推荐
所有评论(0)