Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+Zookeeper+Hbase+Hive+Sqoop

1.HDFS:分布式文件系统,适合一次写入,多次读出的场景。一个文件经过创建、写入和关闭 之后就不需要改变。

2.Yarn:分布式资源管理系统,用于同一管理集群中的资源(内存等)       

3.MapReduce:Hadoop的编程框架,用map和reduce方式实现分布式程序设计,类似于Spring。

4.Pig:MapReduce的一个抽象,它是一个工具/平台(所以说它并不完全是一门语言),用于分析较大数据集,并将其表示为数据流;

5.Zookeeper:分布式集群管理、master选举、消息发布订阅、数据存储、分布式锁等等。分布式协调服务,用于维护集群配置的一致性、任务提交的事物性、集群中服务的地址管理、集群管理等

6.Hbase:Hadoop下的分布式数据库,类似于NoSQL     

7.Hive:数仓工具,Hive进行数据离线批量处理时,需将查询语言先转换成MR任务,由MR批量处理返回结果,所以Hive没法满足数据实时查询分析的需求。

8.Sqoop:用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐