最近在学习hadoop的相关知识,顺便在自己的虚拟机上做一个hadoop 的javaweb项目,类似于一个云盘的效果,通过hadoop中的hdfs文件管理来实现一些文件的上传和下载的功能,现在已经做到能够实现文件的上传功能,还在进一步的完善中,等过几天再把完整的项目内容贴到这上面。

首先说一下关于hadoop的搭建步骤:
1、首先要在linux上安装hadoop,步骤很简单,但是会有很多的细节问题没有指导的话会费一些时间,打击学习热情。这一步中自己找到一个很好的教程 搭建起hadoop的伪分布式,仅供自己学习的使用。

http://www.powerxing.com/install-hadoop/
这上面的步骤都是很详细的,出现的错误下面的隐藏部分都会有提到,所以很适合一个新手参考。


2、搭建完hadoop的伪分布式,然后就要使用eclipse来对hdfs中的文件实现一些操作,虽然我们可以使用命令行编译直接打包来运行自己的MapReduce程序,但是这个使用起来非常的不方便,所以还是使用eclipse比较好点,可以直接运行代码,省去了繁琐的命令。
使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS
(这个博客上面没有说明配置jdk,博客这个是在linux上配置jdk,如果要是用tomcat,可以自己去搜一下)


3、做完了以上的准备之后,就可以使用eclipse来创建一个项目来对hdfs中的文件实现操作,对其中的文件操作无非还是增删改查,以及一些对文件的基本操作,但是我感觉刚开始可能跟对数据库的操作差不多,因为这只是一个节点上的文件,但是hdfs最大的有点就是在分布式文件系统上的优势,能够提供高吞吐量的数据访问,适合超大的数据集群访问,所以刚开始可能感觉不到它的特别之处,但是随着深入的学习,慢慢就会感觉到它的强大之处,扯的有点远。

在这个博客上详细的介绍了文件的操作过程,有各个版本不同的代码,


更新-
这个是已经做好的基于ssh的一个网盘的效果已经上传到CSDN下,可以下载下来参考下
http://download.csdn.net/detail/leoe_/9806192

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐