新建一个maven项目。点击File,new,mavenProject:

 然后把 groupId和ArtifactId随便写上就行 

 创建好之后打开pom.xml文件:把hdfs操作需要的依赖添加进行:

<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.0</version>
        </dependency>
        <!-- hdfs-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.6.0</version>
        </dependency>

 

然后开始建包:

 然后开始写代码操作hdfs:

package hdfs;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URI;
import java.net.URISyntaxException;
import java.nio.charset.Charset;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.codehaus.jackson.util.BufferRecycler;
public class HdfsDemo {
    public static void main(String[] args) throws URISyntaxException, IOException {
        //首先获取hdfs的集群访问地址,namenode的地址
        //在这之前我需要对hdfs中添加一下信息:
        /*1:设置dfs权限打开true
         
        hdfs-site.xml文件    
        <property>
        <name>dfs.permissions</name>
        <value>true</value>
        </property>*/
        
        
        URI uri = new URI("hdfs://192.168.25.200:9000");
        //创建一个配置文件对象
        Configuration conf = new Configuration();
        //创建hdsf文件系统对象
        FileSystem fs = FileSystem.get(uri, conf);
        //使用创建hdfs文件的方法
        fs.create(new Path("/hdfs001"));
        //当我删除时候必须先创建删除,把上面的注释掉
        fs.delete(new Path("/hdfs001"));
        //查看路径信息
        FileStatus[] fileStatuses = fs.listStatus(new Path("/home/data.csv"));
        for (FileStatus fileStatus : fileStatuses) {
            System.out.println(fileStatus);
        }
        //读取hdfs上的文件:
        FSDataInputStream in = fs.open(new Path("/home/data.txt"));
        BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(in,"UTF-8"));
        String line = null;
        while ((line = bufferedReader.readLine())!=null ) {
            
            System.out.println(line);
            in.close();//关闭流操作
        }
    }
}
 

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐