参考文章:https://ustsking.notion.site/074d65fa4ccd4aaebb5097dfff4a62e9

作业00

  1. 人们通常最熟悉结构化数据的分析。除了半结构化、“准”结构化和非结构化这三种基本数据类型以外,还有一种重要的数据类型为元数据,它主要由( ),能够添加到数据集中。

    A.人工输入

    B.机器生成

    C.自然产生

    D.分析计算

  2. 数据多样性指的是大数据解决方案需要支持多种( )、不同类型的数据。数据多样性给企业带来的挑战包括数据聚合、数据交换、数据处理和数据存储等。

    A.不同大小

    B.不同方向

    C.不同格式

    D.不同语言

  3. ( )、传感器和数据采集技术的快速发展、通过云和虚拟化存储设施增加的信息链路,以及创新软件和分析工具,正在驱动着大数据。

    A.廉价的存储

    B.昂贵的存储

    C.小而精的存储

    D.昂贵且精准的存储

  4. 实际上,大多数的大数据都是( )的。

    A.结构化

    B.非结构化

    C.非或半结构化

    D.半结构化

  5. 所谓大数据,狭义上可以定义为( )。

    A.用现有的一般技术难以管理的大量数据的集合

    B.随着互联网的发展,在我们身边产生的大量数据

    C.随着硬件和软件技术的发展,数据的存储、处理成本大幅下降,从而促进数据大量产生

    D.随着云计算的兴起而产生的大量数据

  6. 所谓“用现有的一般技术难以管理”,例如是指( )。

    A.用目前在企业数据库占据主流地位的关系型数据库无法进行管理、具有复杂结构的数据

    B.由于数据量的增大,导致对非结构化数据的查询产生了数据丢失

    C.分布式处理系统无法承担如此巨大的数据量

    D.数据太少无法适应现有的数据库处理条件

  7. 大数据的定义是一个被故意设计成主观性的定义,即并不定义大于一个特定数字的TB才叫大数据。随着技术的不断发展,符合大数据标准的数据集容量( )。

    A.稳定不变

    B.略有精简

    C.也会增长

    D.大幅压缩

  8. 可以用3个特征相结合来定义大数据:即( )。

    A.数量、数值和速度

    B.庞大容量、极快速度和多样丰富的数据

    C.数量、速度和价值

    D.丰富的数据、极快的速度、极大的能量

  9. 随着计算机技术全面和深度地融入社会生活,信息爆炸不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。信息总量的变化导致了( )——量变引起了质变。( )。

    A.数据库的出现

    B.信息形态的变化

    C.网络技术的发展

    D.软件开发技术的进步

  10. 下列( )不是预测分析的主要作用。

    A.决策管理

    B.滚动预测

    C.成本计算

    D.自适应管理

  11. 定量分析专注于量化从数据中发现的模式和关联,这项技术涉及分析大量从数据集中所得的观测结果,其结果是( )的。

    A.相对字符型

    B.相对数值型

    C.绝对字符型

    D.绝对数值型

  12. 大数据分析结合了( )。

    A.传统统计分析方法和现代统计分析方法

    B.传统统计分析方法和计算分析方法

    C.现代统计方法和计算分析方法

    D.传统计算分析方法和现代计算分析方法

  13. 数据分析学涵盖了对整个数据生命周期的管理,而数据生命周期包含了数据收集、( )、数据组织、数据分析、数据存储以及数据管理等过程。

    A.数据完善

    B.数据清理

    C.数据编辑

    D.数据增减

  14. 数据分析是一个通过处理数据,从数据中发现一些深层知识、模式、关系或是趋势的过程。数据分析的总体目标是( )。

    A.做出唯一决策

    B.做出最好决策

    C.做出更好决策

    D.产生完整的数据集

  15. 预测分析模型不仅要靠基本人口数据,例如住址、性别等,而且也要涵盖近期性、频率、购买行为、经济行为以及电话和上网等产品使用习惯之类的( )变量。

    A.行为预测

    B.生活预测

    C.经济预测

    D.动作预测

作业01

  1. 大数据分析结果可以用来为商业使用者提供商业决策支持,为使用者提供更多使用这些分析结果的机会。分析结果的使用阶段致力于确定( )分析数据能保证产出更大的价值。

    A.如何以及在哪里处理

    B.怎样以及什么时候

    C.是否以及怎样

    D.如何打印以及存储

  2. 数据聚合和表示阶段是专门为了将( )进行聚合,从而获得一个统一的视图。

    A.关键数据集

    B.离散数据

    C.单个数据集

    D.多个数据集

  3. 数据分析阶段致力于执行实际的分析任务,通常会涉及一种或多种类型的数据分析。在这个阶段,尤其是在探索性分析的情况下,分析过程会( )。

    A.重复进行,直到数据被清零

    B.循环进行,直到人为终止

    C.自然迭代,直到适当的模式或者相关性被发现

    D.一次完成,分析结果被打印和存储

  4. 数据可视化阶段致力于由使用者使用( )技术和工具,并通过图形表示有效的分析结果。

    A.图形设计

    B.数据可视化

    C.Photoshop

    D.数字媒体

  5. 数据标识阶段主要是用来标识分析项目所需要的数据集和所需的资源。标识种类众多的数据资源可能会提高找到( )的可能性。

    A.数据获取和数据打印

    B.算法分析和打印模式

    C.隐藏模式和相互关系

    D.隐藏价值和潜在商机

  6. 数据提取阶段主要是要提取不同的数据,并将其转化为大数据解决方案中可用于( )的格式。需要提取和转化的程度取决于分析的类型和大数据解决方案的能力。

    A.数据分析

    B.打印输出

    C.数据存储

    D.数据整合

  7. 大数据分析的生命周期可以分为九个阶段,但以下( )不是其中的阶段之一。

    A.商业案例评估

    B.数值计算

    C.数据获取与过滤

    D.数据提取

  8. 大数据分析的生命周期可以分为九个阶段,但以下( )不是其中的阶段之一。

    A.数据标识

    B.数据验证与清理

    C.分析结果的使用

    D.数据打印

  9. 大数据分析的生命周期中,在数据( )过程中有许多的步骤,这些都是在数据分析之前所必需的。

    A.识别、获取、过滤、提取、清理和聚合

    B.打印、计算、过滤、提取、清理和聚合

    C.统计、计算、过滤、存储、清理和聚合

    D.存储、提取、统计、计算、分析和打印

  10. 经过数十年发展,分析架构经历了从独立的桌面到企业级( )的一个实质性转变。

    A.数据仓库再到大数据平台

    B.大数据平台到数据仓库

    C.大数据平台到数据挖掘

    D.数据挖掘到数据仓库

  11. 持续改善,即在生产活动中不断提高,其核心不包括( )。

    A.增加产量,团结员工

    B.从小处人手

    C.去除过于复杂的工作

    D.进行实验以确定和消除无用之处

  12. 精明的企业可以通过逆向思维找到( )分析机遇,解决那些在过去看来不可能解决的问题。

    A.现成的

    B.不存在的

    C.潜在的

    D.丢失的

  13. 一个基于九项核心原则的方法成为建立现代分析方法的基础,但下列( )不是这些原则之一。

    A.实现商业价值和影响

    B.专注于最后一公里

    C.加速学习能力和执行力

    D.标准化统一分析

  14. 在大数据分析商业案例的评估中,如果关键绩效指标不容易获取,则需要努力使这个分析项目变得SMART,即( )。

    A.实际的、大胆的、有价值的、可分析的

    B.有风险的、有机会的、能实现的和有价值的

    C.具体的、可衡量的、可实现的、相关的和及时的

    D.有理想的、有价值的、有前途的和能实现的

  15. 大数据分析的生命周期可以分为九个阶段,但以下( )不是其中的阶段之一。

    A.数据删减

    B.数据聚合与表示

    C.数据分析

    D.数据可视化

作业02

  1. 在某些情况下,分析师将从文本中提取出的特性补充到预测模型中,称之为( )问题。

    A.文件分析

    B.数据分析

    C.文本挖掘

    D.数值分析

  2. ( )和预报包括广泛应用于企业的一类独特分析,并且往往嵌入到企业系统中,用于管理制造、物流、门店运营等。

    A.时间序列分析

    B.业务增长预测

    C.蒙特卡洛分析

    D.线性增长估算

  3. 所谓“( )”,泛指由一个指标的变化导致的其他指标的系统性变化。

    A.预测

    B.解释

    C.预报

    D.模拟

  4. 为建立一个完美的模型,更大的分析数据集为分析师带来了新的机会和问题,但下列( )是错误的。

    A.更多的用例、更多的观察结果、更多的数据行

    B.更多的变量、更多的特性、更多的数据列

    C.更好的算法和结构

    D.许多小模型

  5. 构建( )是分析中的经典用例,它是许多常见应用的基础。

    A.预测模型

    B.数据模型

    C.数据结构

    D.程序模块

  6. 一个用例是实现一个目标所需步骤的描述,而分析用例是那些需要定义( )的组织所需要的关键成功要素之一。

    A.程序模板

    B.数据结构

    C.分析架构

    D.对象实例

  7. 用例分析描述了分析师解决的通用问题和用于解决这些问题的方法和技术,( )可以解决所有分析问题。

    A.有一些技术

    B.没有任何一种技术

    C.多数现有的技术都

    D.不清楚是否有技术

  8. 为中层管理者需求服务的分析应用专注于( )功能问题。

    A.重要的

    B.具体的

    C.现实的

    D.严重的

  9. 基于独立性、可信性、过往成就的纪录、紧迫性和( ),企业倾向于更多地依赖外部顾问进行战略分析。

    A.内部数据

    B.核心数据

    C.外部数据

    D.重要数据

  10. 面向客户的分析,是指针对( )的分析。

    A.业务伙伴

    B.企业中层

    C.产品下游

    D.最终消费者

作业03

  1. 时间序列图可以分析在固定时间间隔记录的数据,它通常用( )图表示,x轴表示时间,y轴记录数据值。

    A.圆饼

    B.折线

    C.热区

    D.直方

  2. 在视觉分析中,网络分析是一种侧重于分析网络内实体关系的技术。一个网络图描绘互相连接的( ),它可以是一个人,一个团体,或者其他商业领域的物品,例如产品。

    A.物体

    B.人体

    C.实体

    D.虚体

  3. 视觉分析是一种数据分析,指的是对数据进行( )来开启或增强视觉感知。相比于文本,人类可以迅速理解图像并得出结论,因此,视觉分析成为大数据领域的勘探工具。

    A.数值计算

    B.文化虚拟

    C.图形表示

    D.字符表示

  4. 文本分析是专门通过数据挖掘、机器学习和自然语言处理技术去发掘( )文本价值的分析应用。文本分析实质上提供了发现,而不仅仅是搜索文本的能力。

    A.自然语言

    B.非结构化

    C.结构化

    D.字符与数值

  5. 深度学习是一类基于( )的建模训练技术。

    A.数据结构

    B.数据规模

    C.特征学习

    D.模块层次

  6. 过滤是自动从项目池中寻找有关项目的过程。项目可以基于用户行为或通过匹配多个用户的行为被过滤。通常过滤的主要方法是( )。

    A.完全过滤和不完全过滤

    B.数值过滤和字符过滤

    C.自动过滤和手动过滤

    D.协同过滤和内容过滤

  7. 聚类常用在( )上来理解一个给定数据集的性质。在形成理解之后,分类可以被用来更好地预测相似但却是全新或未见过的数据。

    A.自动计算

    B.程序设计

    C.数据挖掘

    D.数值分析

  8. 聚类是一种( )的学习技术,通过这项技术,数据被分割成不同的组,每组中的数据有相似的性质。类别是基于分组数据产生的,数据如何成组取决于用什么类型的算法。

    A.手工处理

    B.有控制

    C.有监督

    D.无监督

  9. 人类善于发现数据中的( ),但不能快速地处理大量的数据。另一方面,机器非常善于迅速处理大量数据,但它们得知道怎么做。如果人类知识可以和机器的处理速度相结合,机器可以处理大量数据而不需要人类干涉。这就是机器学习的基本概念。

    A.大小与数量

    B.模式与规律

    C.模式与关系

    D.数量与关系

  10. 分类是一种( )的机器学习,它将数据分为相关的、以前学习过的类别。这项技术的常见应用是过滤垃圾邮件。

    A.完全自动

    B.有监督

    C.无监督

    D.无需控制

  11. “无监督学习”指的是那些在( )数据或者缺乏定义因变量的数据中寻找模式的技术。

    A.结构化

    B.无标签

    C.非结构化

    D.有标签

  12. 回归性分析技术旨在探寻在一个数据集内一个( )有着怎样的关系。

    A.外部变量和内部变量

    B.小数据变量和大数据变量

    C.组织变量和社会变量

    D.因变量与自变量

  13. 在大数据分析中,( )分析可以首先让用户发现关系的存在,( )分析可以用于进一步探索关系并且基于自变量的值来预测因变量的值。

    A.相关性,回归性

    B.回归性,相关性

    C.相关性,复杂性

    D.复杂性,回归性

  14. 相关性分析是一种用来确定( )的技术。如果发现它们有关,下一步是确定它们之间是什么关系。

    A.两个变量是否相互独立

    B.两个变量是否互相有关系

    C.多个数据集是否相互独立

    D.多个数据集是否相互有关系

  15. 统计分析就是用以( )为手段的统计方法来分析数据。

    A.计算函数

    B.数学公式

    C.数据结构

    D.程序结构

  16. ( )是希望通过变换消除原始特征之间的相关关系或减少冗余,得到新的特征,更加便于数据的分析。

    A.特征选择

    B.特征运算

    C.特征加工

    D.特征变换

  17. 特征工程包含( )、特征选择、特征构建和特征学习等问题。

    A.结构重组

    B.特征提取

    C.结构简化

    D.数据清洗

  18. ( )是大数据分析的原材料,对最终模型有着决定性的影响。

    A.数据

    B.特征

    C.资源

    D.信息

  19. 解决大数据分析问题的一个重要思路就在于减少数据量。可以通过减少描述数据的属性来达到目的,这就是( )技术。

    A.降维

    B.减法

    C.复合

    D.审计

  20. 一般来说,随着预测窗口长度的延长,模型预测的精确性会( )。

    A.上升

    B.反弹

    C.下降

    D.不确定

  21. 预测窗口对分析项目的设计有很大影响,它会影响到( )。

    A.系统规模的设定

    B.系统质量的要求

    C.启动时间的设置

    D.分析方法的选择和数据的选择

  22. 预测分析使用的技术可以发现( )之间的关系,从而预测未来的事件和行为。

    A.历史数据

    B.原始数据

    C.当前数据

    D.数据模型

  23. 在某些情况下,分析师将从文本中提取出的特性补充到预测模型中,称之为( )问题。

    A.文件分析

    B.数据分析

    C.文本挖掘

    D.数值分析

  24. ( )和预报包括广泛应用于企业的一类独特分析,并且往往嵌入到企业系统中,用于管理制造、物流、门店运营等。

    A.时间序列分析

    B.业务增长预测

    C.蒙特卡洛分析

    D.线性增长估算

  25. 为建立一个完美的模型,更大的分析数据集为分析师带来了新的机会和问题,但下列( )是错误的。

    A.更多的用例、更多的观察结果、更多的数据行

    B.更多的变量、更多的特性、更多的数据列

    C.更好的算法和结构

    D.许多小模型

作业04


  1. ( )分析用户兴趣,在用户群中找到指定用户的相似(兴趣)用户,综合这些相似用户对某一信息的评价,形成对指定用户对此信息的喜好程度预测。

    A.协同过滤推荐

    B.关联分析推荐

    C.基于内容推荐

    D.基于平台推荐

  2. 数学图是用来描述系统(如分布式计算机网络)、交通网络,或者一个网站页面的一个有用的比喻。当使用一个数学图来建立社会体系模型时,其结果是( )图。

    A.程序流程

    B.社交网络

    C.网络分析

    D.关系链接

  3. “基于( )的推荐”以规则为基础,把已购商品作为规则头,把推荐对象作为规则体。

    A.运算规则

    B.计算方法

    C.分析原理

    D.关联规则

  4. 采用( )方法,可以通过用户之间的联系和用户之间的相似度来判别用户之间的关系强度。

    A.有监督模型

    B.无监督模型

    C.强监督网络

    D.弱监督网络

  5. 社交网络的重要成分是实体和( )的关系,因此可以用图来为社交网络建模。

    A.实体间

    B.虚体

    C.虚体间

    D.物体间

  6. ( )是为一个客户单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制。

    A.公有云

    B.私有云

    C.应用云

    D.计算云

  7. 云计算是基于( )概念的分布式计算,最终用户只需把任务提交到云端。

    A.数据包

    B.信息包

    C.文件夹

    D.资源池

  8. Apache Spark是一个( )平台,它可用于基于Hadoop的分布式内存高级分析。

    A.开源

    B.集成

    C.商用

    D.封闭

  9. 并行计算的主要效益在于速度和( )可扩展性。

    A.可扩展性

    B.大容量

    C.多样性

    D.高利润

  10. 分布式计算是指将进程处理分布于多个( )机器上的能力。

    A.超级

    B.物理或虚拟

    C.计算

    D.数字

  11. 所谓多线程处理,是指从软件或者硬件上实现多个线程( )执行(当具备相关资源时)的技术。

    A.顺序

    B.互斥

    C.并发

    D.合并

  12. 在一个程序中独立运行的程序( )叫作“线程”。

    A.片段

    B.代码

    C.模块

    D.机器码

  13. “并行计算”是指:将一个任务分为( )的单元,并将其同时执行的方式。

    A.更大

    B.独立

    C.完整

    D.更小

  14. 在大数据分析中有很多分析平台可供选择,但下列( )选项不是。

    A.数据库分析

    B.硬盘分析

    C.内存分析

    D.云计算分析

  15. 数据是分析的原材料,而分析决定了( )的价值。

    A.数据

    B.程序

    C.系统

    D.电脑

  16. 客观事物或现象是一个多因素综合体,模型是被研究对象(客观事物或现象)的一种抽象,( )是对客观事物或现象的一种描述。

    A.工作日程

    B.数据结构

    C.分析模型

    D.计算方法

  17. ( )反映对象最本质的东西,略去了枝节,是被研究对象实质性的描述和某种程度的简化,其目的在便于分析研究。模型可以是数学模型或物理模型。

    A.模型

    B.结构

    C.函数

    D.模块

  18. 如果两个或多个变量之间存在一定的( ),那么其中一个变量的状态就能通过其他变量进行预测。

    A.结合

    B.冲突

    C.变化

    D.关联

  19. 回归分析方法是在众多的相关变量中,根据实际问题考察其中一个或多个变量(因变量)与其余变量(自变量)的( )。

    A.结合程度

    B.对抗关系

    C.依赖关系

    D.不同之处

  20. 在一些问题中,不仅经常需要考察两个变量之间的相关程度,而且还经常需要考察多个变量与多个变量之间即( )之间的相关关系。

    A.数值数字

    B.多组变量

    C.复杂元素

    D.两组变量

作业05

  1. 简述计算机虚拟化技术以及常见的虚拟化软件。

    在计算机中,虚拟化(Virtualization)是一种资源管理技术,是将计算机的各种实体资源,如服务器、网络、内存及存储等,予以抽象、转换后呈现出来,打破实体结构间的不可分割的障碍,使用户可以比原本的组态更好的方式来应用这些资源。这些资源的新虚拟部分是不受现有资源的架设方式,地域或物理组态所限制。一般所指的虚拟化资源包括计算能力和资料存储。常见的虚拟化软件有VirtualBox、VMware Workstation、KVM。

  2. 简述大数据集群系统。

    集群技术是指通过高速通信网络将一组相互独立的计算机联系在一起,组成一个计算机系统,该系统中每一台计算机都是一个独立的服务器,运行各自的进程,它们相互之间可以通信,既可以看作是一个个单一的系统,也能够协同起来为用户提供服务。对网络用户来讲,后端就像是一个单一的系统,协同向用户提供系统资源、系统服务,通过网络连接组合成一个组合来共同完一个任务。Hadoop 分布式集群是为了对海量的非结构化数据进行存储和分析而设计的一种特定的集群。其本质上是一种计算集群。

  3. 简述大数据的存储方式。

    存储系统作为数据中心最核心的数据基础,不再仅是传统分散的、单一的底层设备。除了要具备高性能、高安全、高可靠等基于大数据应用需求,“应用定义存储”概念被提出。主要有以下几种存储方式: 1、分布式系统 2、NoSQL数据库 3、云数据库 4、大数据存储技术路线 1) 采用MPP架构的新型数据库集群 2) 基于Hadoop的技术扩展和封装 3) 大数据一体机

  4. 简述大数据的概念。

    自2012年以来,“大数据”一词越来越引起人们的关注。但是,目前为止,在学术研究领域和产业界中,大数据并没有一个标准的定义。在维克托·迈尔-舍恩伯格编写的《大数据时代》一书中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。而麦肯锡全球研究所则定义大数据为一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。通常来说,大数据是指数据量超过一定大小,无法用常规的软件在规定的时间范围内进行抓取、管理和处理的数据集合。

  5. 简述大数据的基本特征。

    大数据的主要特征可用“5V+1C”来进行概括,分别是:数据量大(Volume)、数据类型多(Variety)、数据时效性强(Velocity)、价值密度低(Value)、准确性高(Veracity)、复杂性高(Complexity)。

作业06

  1. 简述Hadoop系统及其优点。

    Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,它主要有以下几个优点:(1)高可靠性。(2)高扩展性。(3)高效性(4)高容错性。

  2. 简述 HDFS写数据的流程。

    详细流程如下:(1)首先HDFS的客户端通过Distributed FileSystem(HDFS中API里的一个对象);(2)通过Distributed FileSystem发送客户端的请求给NameNode(NameNode主要是接受客户端请求)并且会带着文件要保存的位置、 文件名、操作的用户名等信息一起发送给NameNode;(3)NameNode会给客户端返回了一个FSDataOutputStream,同时也会返回文件要写入哪些DataNode上(负载较低的);(4)通过FSDataOutputStream进行写操作,在写之前就做文件的拆分,将文件拆分成多个Block,第一个写操作写在负载比较低的DataNode上,并将这个block复制到其他的DataNode上;(5)当所有的block副本复制完成后会反馈给FSDataOutputStream;(6)当所有的block副本全都复制完成,就可以将FSDataOutputStream流关闭;(7)通过Distributed FileSystem更新NameNode中的源数据信息。

  3. 简述Hadoop技术生态系统。

    Hadoop生态系统主要包括:HDFS、MapReduce、Spark、Storm、HBase、Hive、Pig、ZooKeeper、 Avro 、Sqoop、Ambari、HCatalog、Chukwa 、Flume、Mahout、Phoenix、Tez、Shark等。

  4. 简述Hadoop原理及运行机制。

    Hadoop的核心由3个子项目组成:Hadoop Common、HDFS、和MapReduce。 Hadoop Common包括文件系统(File System)、远程过程调用协议(RPC)和数据串行化库(Serialization Libraries)。

  5. 简述 HDFS读数据的流程。

    详细流程如下:(1)首先HDFS的客户端通过Distributed FileSystem(HDFS中API里的一个对象);(2)通过Distributed FileSystem发送给NameNode请求,同时将用户信息及文件名的信息等发送给NameNode,并返回给DistributedFileSystem,该文件包含的block所在的DataNode位置;(3)HDFS客户端通过FSDataInputStream按顺序去读取DataNode中的block信息(它会选择负载最低的或离客户端最近的一台DataNode去读block);(4)FSDataInputStream按顺序一个一个的读,直到所有的block都读取完毕;(5)当读取完毕后会将FSDataInputStream关闭。

作业07

  1. 3种鸢尾花数据(萼片宽度、萼片长度、 花瓣宽度、花瓣长度)为: (4.9,3.0,1.4,0.2)、(5.0,3.6,1.4,0.2)、(5.2,2.7,3.9,1.4)、(6.1,2.9,4.7,1.4)、(7.7,2.6,6.9,2.3)、(6.6,2.9,4.6,1.3)、(4.4,3.2,1.3,0.2)、(5.7,2.8,4.1,1.3),计算其聚类中心并将数据进行分类。

    参见《大数据技术与应用》第9章第3节

  2. 简述Spark开源框架及其特点。

    Spark架构采用了分布式计算中的Master-Slave模型,Spark架构如下图所示:

    img

  3. 简述Spark生态系统及其主要组件。

    Spark主要包括Spark Core和在Spark Core基础之上建立的应用框架Spark SQL、Spark Streaming、MLlib和GraphX。除了这些库以外,还有一些其他的库,如BlinkDB和Tachyon。此外,还有一些用于与其他产品集成的适配器,如Cassandra(Spark Cassandra连接器)和R(SparkR)。

作业08

  1. 过一系列处理,在基本保持原始数据完整性的基础上,减小数据规模的()

    A.数据清洗

    B.数据融合

    C.数据规约

    D.数据挖掘

  2. 大数据的最显著特征是( )。

    A.数据规模大

    B.数据类型多样

    C.数据处理速度快

    D.数据价值密度高

  3. 下列关于大数据的分析理念的说法中,错误的是( )。

    A.在数据基础上倾向于全体数据而不是抽样数据

    B.在分析方法上更注重相关分析而不是因果分析

    C.在分析效果上更追究效率而不是绝对精确

    D.在数据规模上强调相对数据而不是绝对数据

  4. 大数据的4V特征中的Velocity是指( )。

    A.价值密度低

    B.处理速度快

    C.数据类型繁多

    D.数据体量巨大

  5. 大数据的起源是( )。

    A.金融

    B.电信

    C.互联网

    D.公共管理

  6. 下列演示方式中,不属于传统统计图方式的是( )。

    A.柱形图

    B.饼状图

    C.曲线图

    D.网络图

  7. 下列关于舍恩伯格对大数据特点的说法中,错误的是( )

    A.数据规模大

    B.数据类型多样

    C.数据处理速度快

    D.数据价值密度高

  8. 大数据不是要教机器像人一样思考。相反,它是( )。

    A.把数学算法运用到海量的数据上来预测事情发生的可能性

    B.被视为人工智能的一部

    C.被视为一种机器学习

    D.预测与惩罚

  9. HDfS 中的 block 默认保存几份?

    A.3 份

    B.2 份

    C.1 份

    D.不确定

  10. HDFS 默认 Block Size 是()

    A.32MB

    B.64MB

    C.128MB

  11. 下列哪项通常是集群的最主要瓶颈?

    A.CPU

    B.网络

    C.磁盘IO

    D.内存

  12. 下面哪个程序负责 HDFS 数据存储( )。

    A.NameNode

    B.Jobtracker

    C.Datanode

    D.secondaryNameNode

  13. 配置Hadoop时,JAVA_HOME包含在哪一个配置文件中( )

    A.hadoop-default.xml

    B.hadoop-env.sh

    C.hadoop-site.xml

    D.configuration.xs

  14. 下列关于 Hadoop API 的说法错误的是( )。

    A.Hadoop的文件API不是通用的,只用于HDFS文件系统

    B.Configuration类的默认实例化方法是以HDFS系统的资源配置为基础的

    C.FileStatus对象存储文件和目录的元数据

    D.FSDataInputStream是java.io.DataInputStream的子类

  15. 下列哪个程序通常与 NameNode 在一个节点启动?( )

    A.SecondaryNameNode

    B.DataNode

    C.TaskTracker

    D.Jobtracker

  16. 下面与 HDFS 类似的框架是?( )

    A.NTFS

    B.FAT32

    C.GFS

    D.EXT3

  17. HBase中的批量加载底层使用( )实现。

    A.MapReduce

    B.Hive

    C.Coprocessor

    D.Bloom Filter

  18. 从大量数据中提取知识的过程通常称为( )。

    A.数据挖掘

    B.人工智能

    C.数据清洗

    D.数据仓库

  19. Hadoop fs中的-get和-put命令操作对象是( )、

    A.文件

    B.目录

    C.两者都是

  20. HDFS默认的当前工作目录是/user/$USER,fs.default.name的值需要在哪个配置文件内说明

    A.mapred-site.xml

    B.core-site.xml

    C.hdfs-site.xml

    D.以上均不是

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐