Hadoop是大数据处理框架,工具

hdfs和mapReduce是Hadoop的两个原始核心功能,前者是负责储存的系统,类似把试卷放在几个柜子里,后者负责并行计算,类似把100份试卷分给5个人批改。

Hadoop后来逐渐加了其他工具

hive提供数据汇总查询功能,给了一个窗口处理数据,对数据进行加减乘除。

hbase是一个可扩展的、非关系型数据库,不是传统的excel表那种的数据格式

spark是比mapReduce更快的计算框架

Hadoop和mysql的关系是“Friends with benefits”

Hadoop的并行处理系统加上mysql的快速处理大量数据能力,就能得到一个能够使用关系型数据并以巨大速度进行计算的数据库。

 

 

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐