1、介绍hadoop的组件

hadoop有三个主要的核心组件:HDFS(分布式文件存储)、MAPREDUCE(分布式的计算)、YARN(资源调度),现在云计算包括大数据和虚拟化进行支撑。

  在HADOOP(hdfs、MAPREDUCE、yarn)大数据处理技术框架,擅长离线数据分析.

   Zookeeper 分布式协调服务基础组件,Hbase  分布式海量数据库,离线分析和在线业务处理。

  Hive sql 数据仓库工具,使用方便,功能丰富,基于MR延迟大,可以方便对数据的分析,并且数据的处理可以自定义方法进行操作,简单方便。  

  Sqoop数据导入导出工具,将数据从数据库导入Hive,将Hive导入数据库等操作。

  Flume数据采集框架,可以从多种源读取数据。

  Azkaban对操作进行管理,比如定时脚本执行,有图形化界面,上传job简单,只需要将脚本打成包,可直接上传。

2、三大组件详细介绍参见博客

1、HDFS原理深入

2、MapReduce概述及MapReduce详细实现

3、MapReduce在Yarn上执行流程

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐