1.大数据计算体系可归纳三个基本层次:
数据应用系统,数据处理系统,数据存储系统

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2.计算的总体架构
在这里插入图片描述
HDFS(Hadoop 分布式文件系统)
(1)设计思想:分而治之,将大文件大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析。
(2)首先,它是一个文件系统,用于存储文件,通过统一的命名空间–目录树来定位文件。然后,它是分布式的,又很多服务器联合起来实现其功能,集群中的服务器有各自的角色。有namenode和datanode两部分,有点类似索引结构,并采用备份的方式,例如第二namenode和b1出现3次。
在这里插入图片描述
数据处理系统的比较

主要看mapreduce和spark的两个极端,包括时延和硬件的需求。
在这里插入图片描述
mapreduce计算模型在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
3.计算模型和计算架构在这里插入图片描述

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐