大数据基础增强（1）

1、课程大纲（1）三台虚拟机环境准备（2）linux基础及shell增强（3）大数据集群环境准备（4）zookeeper介绍及集群操作（5）网络编程2、三台虚拟机创建并联网第一种方式：通过iso镜像文件来进行安装2.1、创建一台虚拟机出来第一步：创建一台虚拟机出来2.2、为我们的虚拟机挂载操作系统...

vx-Yang_Gaige

1146人浏览 · 2019-06-09 22:21:49

vx-Yang_Gaige · 2019-06-09 22:21:49 发布

（1）三台虚拟机环境准备

（2）linux基础及shell增强

（3）大数据集群环境准备

（4）zookeeper介绍及集群操作

（5）网络编程

2、三台虚拟机创建并联网

第一种方式：通过iso镜像文件来进行安装

2.1、创建一台虚拟机出来

第一步：创建一台虚拟机出来

2.2、为我们的虚拟机挂载操作系统

2.3、开启我们的虚拟机，为我们的虚拟机进行安装操作系统

2.4、配置虚拟机连接网络

修改linux的mac地址

修改mac地址配置文件

需要启动我们的linux的虚拟机，然后更改mac地址的配置文件

vim /etc/udev/rules.d/70-persistent-net.rules

修改网络配置

vim /etc/sysconfig/network-scripts/ifcfg-eth0 
IPADDR=192.168.52.100
GATEWAY=192.168.52.1
NETMASK=255.255.255.0
DNS1=8.8.8.8

重启服务器

修改完成之后，重启服务器

reboot  -h   now

检测能够正常联网

第二种方式：直接复制安装文件（强烈推荐）

三台机器规划

	IP地址	主机名
第一台机器	192.168.52.100	node01.hadoop.com
第一台机器	192.168.52.110	node02.hadoop.com
第一台机器	192.168.52.120	node03.hadoop.com

通过直接复制安装后的安装文件，然后更改mac地址与ip地址也可以实现虚拟机的快速创建

注意事项：windows系统确认所有的关于VmWare的服务都已经启动，

确认好VmWare生成的网关地址，另外确认VmNet8网卡已经配置好了IP地址。

第一步：将我们安装后的文件夹直接复制一份出来

将我们的Centos6.9_001这个文件夹复制三份出来，分别命名CDH1，CDH2，CDH3

第二步：让VmWare加载三台虚拟机

依次进入到三个文件夹当中，然后点击CentOS 6 64 位.vmx来让VmWare加载我们的linux操作系统

第三步：VmWare当中改名并更改mac地址

我们可以在虚拟机当中更改我们的名称为CDH1,CDH2,CDH3，并为三台虚拟机更改mac地址

第四步：开启linux系统更改设置

注意事项：windows系统确认所有的关于VmWare的服务都已经启动，

确认好VmWare生成的网关地址，另外确认VmNet8网卡已经配置好了IP地址。

启动我们的linux系统，并更改mac地址与IP地址

更改mac地址：

更改mac地址：
vim /etc/udev/rules.d/70-persistent-net.rules

更改IP地址：

更改ip地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0

第五步：linux系统重启

关机重启linux系统即可进行联网了

第二台第三台机器重复上述步骤，并设置IP网址为192.168.52.110，192.168.52.120

3、linux基础增强

3.1、查找命令

grep命令

grep 命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并
把匹配的行打印出来。
格式： grep [option] pattern [file]
可使用 —help 查看更多参数。
使用实例：
ps -ef | grep sshd 查找指定 ssh 服务进程
ps -ef | grep sshd | grep -v grep 查找指定服务进程，排除 gerp 本身
ps -ef | grep sshd –c 查找指定进程个数
cat a.txt | grep -f b.txt 从文件中读取关键词进行搜索
输出 a.txt 文件中含有从 b.txt 文件中读取出的关键词的内容行
cat a.txt | grep –nf b.txt 从文件中读取关键词进行搜索,显示行号
grep -n 'hello' a.txt  从文件中查找关键词，并显示行号
cat test.txt |grep ^u 找出以 u 开头的行内容
cat test.txt |grep ^[^u] 输出非 u 开头的行内容
cat test.txt |grep hat$ 输出以 hat 结尾的行内容
cat test.txt |grep -E "ed|at" 显示包含 ed 或者 at 字符的内容行

find命令

find 命令在目录结构中搜索文件，并对搜索结果执行指定的操作。
find 默认搜索当前目录及其子目录，并且不过滤任何结果（也就是返回所
有文件），将它们全都显示在屏幕上。
实际参数很多，可使用 —help 查看。
使用实例：
find . -name "*.log" -ls 在当前目录查找以.log 结尾的文件， 并显示详细信息。
find /root/ -perm 777 查找/root/目录下权限为 777 的文件
find . -type f -name "*.log" 查找当目录，以.log 结尾的普通文件
find . -type d | sort 查找当前所有目录并排序
find . -size +100M 查找当前目录大于 100M 的文件

Locate命令

locate 让使用者可以很快速的搜寻档案系统内是否有指定的档案。其方法
是先建立一个包括系统内所有档案名称及路径的数据库。之后当寻找时就只需查
询这个数据库（ /var/lib/locatedb）。


Linux 系统自动创建这个数据库， 默认每天自动更新一次，所以使用 locate
命令查不到最新变动过的文件。为了避免这种情况，可以在使用 locate 之前，
先使用 updatedb 命令，手动更新数据库。


如果是精简版 CentOS 系统需要安装 locate 命令
yum -y install mlocate


updatedb 命令来创建 locate 命令依赖的数据库


updatedb
使用实例：
locate /etc/sh
搜索 etc 目录下所有以 sh 开头的文件
locate pwd
查找和 pwd 相关的所有文件

whereis命令

whereis 命令是定位可执行文件、源代码文件、帮助文件在文件系统中的位
置。这些文件的属性应属于原始代码，二进制文件，或是帮助文件。
whereis 和下 locate 一样，会从数据库中查找数据，而不是像 find 命令那
样，通过遍历硬盘来查找。
使用实例：
whereis ls 将和 ls 文件相关的文件都查找出来
ls: /bin/ls /usr/share/man/man1/ls.1.gz
whereis -m ls 查找 ls 命令说明文档路径
whereis -s ls 查找 ls 源文件

which命令

which 命令的作用是在 PATH 变量指定的路径中，搜索某个系统命令的位置，
并且返回第一个搜索结果。
使用 which 命令，就可以看到某个系统命令是否存在，以及执行的到底是哪
一个位置的命令。
使用实例：
which pwd 查找 pwd 命令所在路径
/bin/pwd
which java 查找 path 中 java 的路径
/root/apps/jdk1.8.0_65/bin/java
which 是根据使用者所配置的 PATH 变量内的目录去搜寻可运行档， 所以，
不同的 PATH 配置内容所找到的命令会不一样

3.2、用户与用户组

添加普通用户

useradd   hadoop    #   这个就表示我们创建了一个普通用户
passwd   hadoop    # 表示我们需要给hadoop这个普通用户分配一个密码,密码需要自己设置

添加用户组：groupadd storm 表示我们自己添加了一个storm的组

3.3、su与sudo

su的使用

切换用户：linux当中可以使用su来切换不同的用户角色
su   root   表示我们需要切换成其他用户,需要使用密码
添加用户组：groupadd  storm  表示我们自己添加了一个storm的组
su 用于用户之间的切换。但是切换前的用户依然保持登录状态。如果是 root
向普通或虚拟用户切换不需要密码， 反之普通用户切换到其它任何用户都需要密
码验证。
su 在不加任何参数，默认为切换到 root 用户，但没有转到 root 用户根目
录下； su 加参数 - ，表示默认切换到 root 用户，并转到 root 用户根目录下。

su 不足：如果某个用户需要使用 root 权限、则必须要把 root 密码告诉此
用户。
退出返回之前的用户

sudo使用

sudo 是为所有想使用 root 权限的普通用户设计的。可以让普通用户具有临时使用 root 权限的权利。只需输入自己账户的密码即可。当然这个普通用户必须在/etc/sudoers 文件中有配置项、才具有使用 sudo 的权利。没有配置权限之前,普通用户无法进行 root 权限操作

使用 root 用户编辑/etc/sudoers 文件，给普通用户授权
命令行输入 visudo，打开/etc/sudoers 文件，加入如下的内容，保存。

hadoop  ALL=(ALL)       ALL

这样普通用户就可以使用 sudo 执行 root 权限的命令了。

sudo 的工作过程如下：
1.当用户执行 sudo 时，系统会主动寻找/etc/sudoers 文件，判断该用户是
否有执行 sudo 的权限
2．确认用户具有可执行 sudo 的权限后，让用户输入用户自己的密码确认
3．若密码输入成功，则开始执行 sudo 后续的命令

如果想要更加精准的控制，就需要理解配置中的含义。

hadoop ALL=(ALL) ALL

第一个 ALL 是指网络中的主机，我们可以指定主机名，这样 hadoop 只可以
在此主机上执行后面的命令。第二个括号里的 ALL 是指目标用户，也就是以谁的身份去执行命令。最后一个 ALL 是指命令名了。
例如，我们想让 hadoop 用户在 node-23 主机上以 allen 的身份执行 kill 命令，就这样编写配置文件：

hadoop node-23=(allen) /bin/kill

案例：只允许 hadoop 用户以 root 身份在 node-23 上执行 ls 、 cat 命令，
并且执行时候免输入密码。
配置文件中：

hadoop node-23=NOPASSWD: /bin/ls, /bin/cat

执行非 ls 、 cat 命令也会禁止。

而 cat 命令就可以执行。

3.4、linux的权限管理

chown -R hadoop:hadoop abc.txt 改变某个文件或者文件夹的所属的用户以及用户组

第一个参数 -R 表示我们递归的进行改变

第二个参数 hadoop:hadoop 表示我们的用户以及用户组

第三个参数:我们需要改变的文件或者文件夹

chmod  改变文件的执行权限
chmod 777 abc.txt    表示给某个文件赋予所有人的所有权限

	chmod(change mode) 功能：变更文件或目录的权限。
	语法：chmod [参数] [<权限范围><符号><权限代号>]
	-R或--recursive 　递归处理，将指定目录下的所有文件及子目录一并处理。
	权限范围的表示法如下： 
		u：User，即文件或目录的拥有者。 
		g：Group，即文件或目录的所属群组。 
		o：Other，除了文件或目录拥有者或所属群组之外，其他用户皆属于这个范围。 
		a：All，即全部的用户，包含拥有者，所属群组以及其他用户。
	符号：
		+ 添加权限
-取消权限
	有关权限代号的部分，列表于下： 
		r：读取权限，数字代号为"4"。 
		w：写入权限，数字代号为"2"。 
		x：执行或切换权限，数字代号为"1"。 
		-：不具任何权限，数字代号为"0"。

mkdir xxx
ll | grep xxx
chmod u-rwx xxx		#取消xxx目录，用户“读写执行”权限
chmod g-rwx xxx 	#取消xxx目录，组“读写执行”权限
chmod 777 xxx		#给xxx目录添加所有权限

3.5、系统服务管理

service iptables status  #查看防火墙状态
service  iptables stop  #关闭防火墙
service --status-all # 查看系统所有的后台服务进程
service sshd status # 查看指定的后台服务进程的状态
service sshd stop
service sshd start
service sshd restart
配置后台服务进程的开机自启或关闭
chkconfig iptables on  #配置防火墙开机开启
chkconfig iptables off #配置防火墙开机关闭
chkconfig httpd on ## 让 httpd 服务开机自启
chkconfig httpd off ## 让 httpd 服务开机不要自启

3.6、网络管理

主机名配置

查看主机名
hostname
修改主机名(重启后无效)
hostname hadoop

修改主机名(重启后永久生效)
vi /ect/sysconfig/network
HOSTNAME=node01.hadoop.com

IP 地址配置

方式一： setup（强烈不建议使用）

用 root 输入 setup 命令，进入交互式修改界面
Minimal 安装的系统没有安装 setuptool 软件,可 yum 安装后使用。
yum install setuptool ntsysv system-config-securitylevel-tui
yum install system-config-network-tui system-config-keyboard

方式二：修改配置文件(重启后永久生效，强烈建议使用)

修改IP地址：

vi /etc/sysconfig/network-scripts/ifcfg-eth0

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.52.100
NETMASK=255.255.255.0
GATEWAY=192.168.52.1
DNS1=8.8.8.8

修改mac地址：

vim /etc/udev/rules.d/70-persistent-net.rules

SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:50:56:3a:57:a5", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"

方式三： ifconfig 命令(重启后无效，强烈不建议使用)

通过ifconfig命令可以临时更改我们的ip地址，但是服务器重启之后无效
ifconfig eth0 192.168.12.22

域名映射

/etc/hosts 文件用于在通过主机名进行访问时做 ip 地址解析之用。所以，你想访问一个什么样的主机名，就需要把这个主机名和它对应的 ip 地址，配置在/etc/hosts 文件中

vim /etc/hosts

127.0.0.1   localhost 

192.168.52.100 node01.hadoop.com node01

网络端口监听

netstat 是一款命令行工具， 用于列出系统上所有的网络 socket 连接情况，
包括 tcp, udp 以及 unix socket，另外它还能列出处于监听状态（即等待接入
请求）的 socket。 如想确认 Web 服务有没有起来，可查看 80 端口有没有打开。
示例：
常见参数：
-a (all)显示所有选项，默认不显示 LISTEN 相关
-t (tcp)仅显示 tcp 相关选项
-u (udp)仅显示 udp 相关选项
-n 禁用域名反向解析功能，只显示 ip
-l 仅列出有在 Listen (监听) 的服务状态
-p 显示建立相关链接的进程信息
-ep 可以同时查看进程名和用户名
netstat –nlpt 获取进程名、进程号以及用户 ID

只列出监听中的连接
netstat –tnl 可以看到处于监听状态的 TCP 端口和连接

netstat -nltp查看所有的监听的端口

crontab 配置

crontab 是 Unix 和 Linux 用于设置周期性被执行的指令。通过 crontab 命令，可以在固定间隔时间执行指定的系统指令或 shell 脚本。时间间隔的单位可

以是分钟、小时、日、月、周及以上的任意组合。
crontab 安装：
yum install crontabs
服务操作说明：
service crond start ## 启动服务
service crond stop ## 关闭服务
service crond restart ## 重启服务
service crond reload ## 重新载入配置
service crond status ## 查看 crontab 服务状态：
chkconfig crond --list ## 查看 crontab 服务是否已设置为开机启动
chkconfig crond on ## 加入开机自动启动

通过crontab配置虚拟机时钟同步

crontab  -e

*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com

命令格式

crontab [-u user] file
crontab [-u user] [ -e | -l | -r ]
参数说明：
-u user：用来设定某个用户的 crontab 服务
file： file 是命令文件的名字,表示将 file 做为 crontab 的任务列表文件
并载入 crontab。
-e：编辑某个用户的 crontab 文件内容。如果不指定用户，则表示编辑当前
用户的 crontab 文件。
-l：显示某个用户的 crontab 文件内容。 如果不指定用户，则表示显示当前
用户的 crontab 文件内容。
-r：删除定时任务配置，从/var/spool/cron 目录中删除某个用户的 crontab
文件，如果不指定用户，则默认删除当前用户的 crontab 文件。
-i：在删除用户的 crontab 文件时给确认提示。
命令示例：
crontab file [-u user] ## 用指定的文件替代目前的 crontab。
crontab -l [-u user] ## 列出用户目前的 crontab.
crontab -e [-u user] ## 编辑用户目前的 crontab.

配置说明、实例

* * * * * command
分 时 日 月 周 命令
第 1 列表示分钟 1～59 每分钟用*或者 */1 表示
第 2 列表示小时 0～23（ 0 表示 0 点）
第 3 列表示日期 1～31
第 4 列表示月份 1～12
第 5 列标识号星期 0～6（ 0 表示星期天）
第 6 列要运行的命令

配置实例：

*/1 * * * * date >> /root/date.txt
每分钟执行一次 date 命令
30 21 * * * /usr/local/etc/rc.d/httpd restart
每晚的 21:30 重启 apache。
45 4 1,10,22 * * /usr/local/etc/rc.d/httpd restart
每月 1、 10、 22 日的 4 : 45 重启 apache。
10 1 * * 6,0 /usr/local/etc/rc.d/httpd restart
每周六、周日的 1 : 10 重启 apache。
0,30 18-23 * * * /usr/local/etc/rc.d/httpd restart
每天 18 : 00 至 23 : 00 之间每隔 30 分钟重启 apache。
* 23-7/1 * * * /usr/local/etc/rc.d/httpd restart
晚上 11 点到早上 7 点之间，每隔一小时重启 apache

4、linux的shell编程

Shell 是一个用 C 语言编写的程序，通过 Shell 用户可以访问操作系统内核服务。它类似于 DOS 下的 command 和后来的 cmd.exe。Shell 既是一种命令语言，又是一种程序设计语言。Shell script 是一种为 shell 编写的脚本程序。 Shell 编程一般指 shell脚本编程，不是指开发 shell 自身。Shell 编程跟 java、 php 编程一样，只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。
Linux 的 Shell 种类众多，一个系统可以存在多个 shell，可以通过 cat /etc/shells 命令查看系统中安装的 shell。
Bash 由于易用和免费，在日常工作中被广泛使用。同时， Bash 也是大多数
Linux 系统默认的 Shell

4.1基本格式

使用 vi 编辑器新建一个文件 hello.sh。扩展名并不影响脚本执行，见名知意。比如用 php 写 shell 脚本，扩展名就用 .php。

#!/bin/bash
echo "Hello World !"

#!是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用
哪一种 Shell。

echo 命令用于向窗口输出文本。

Shell 脚本的执行：

chmod +x ./hello.sh   #使脚本具有执行权限
./hello.sh    #执行脚本

直接写 hello.sh， linux系统会去PATH里寻找有没有叫 hello.sh的。 用 ./hello.sh 告诉系统说，就在当前目录找。

还可以作为解释器参数运行。 直接运行解释器，其参数就是 shell 脚
本的文件名，如：
/bin/sh /root/hello.sh
/bin/php test.php

这种方式运行脚本，不需要在第一行指定解释器信息，写了也不生效

4.2、shell变量

语法格式：

变量＝值，如： your_name="itcast.cn"
注意：变量名和等号之间不能有空格，同时，变量名的命名须遵循如下规则：
首个字符必须为字母（ a-z， A-Z）
中间不能有空格，可以使用下划线（ _）
不能使用标点符号
不能使用 bash 里的关键字（可用 help 命令查看保留关键字）

变量使用：

使用一个定义过的变量，只要在变量名前面加 $ 即可。

your_name="itcast.cn"
echo $your_name
echo ${your_name}

花括号是可选的，加不加都行，加花括号是为了帮助解释器识别变量的边界。
已定义的变量，可以被重新定义。
使用 readonly 命令可以将变量定义为只读变量，只读变量的值不能被改变。
使用 unset 命令可以删除变量。 不能删除只读变量。
readonly variable_name
unset variable_name

变量类型

局部变量：

局部变量在脚本或命令中定义，仅在当前 shell 实例中有效，其他 shell 启动的程序不能访问局部变量。

环境变量：

所有的程序，包括 shell 启动的程序，都能访问环境变量，有些程序需要环境变量来保证其正常运行。可以用过 set 命令查看当前环境变量。

shell 变量：

shell 变量是由 shell 程序设置的特殊变量。 shell 变量中有一部分是环境变量，有一部分是局部变量，这些变量保证了 shell 的正常运行。

参数传递

在执行 Shell 脚本时，可以向脚本传递参数。
脚本内获取参数的格式为： $n。 n 代表一个数字， 1 为执行脚本的第一个参数， 2 为执行脚本的第二个参数，以此类推…… $0 表示当前脚本名称。

特殊字符

$#	传递到脚本的参数个数
$*	以一个单字符串显示所有向脚本传递的参数。
$$	脚本运行的当前进程 ID 号
$!	后台运行的最后一个进程的 ID 号
$@	与$*相同，但是使用时加引号，并在引号中返回每个参数。
$?	显示最后命令的退出状态。 0 表示没有错误，其他任何值表明有错误。

例子：
#!/bin/bash
echo "第一个参数为： $1";
echo "参数个数为： $#";
echo "传递的参数作为一个字符串显示： $*";
执行脚本： ./test.sh 1 2 3

$*和$@区别

相同点：都表示传递给脚本的所有参数。
不同点：
不被" "包含时， $和$@都以$1 $2… $n 的形式组成参数列表。
被" "包含时， "$" 会将所有的参数作为一个整体，以"$1 $2 … $n"的形式组成一个整串； "$@" 会将各个参数分开，以"$1" "$2" … "$n" 的形式组成一个参数列表。

Shell 运算符

Shell 和其他编程语音一样，支持包括：算术、关系、布尔、字符串等运算符。原生 bash 不支持简单的数学运算，但是可以通过其他命令来实现，例如expr。 expr 是一款表达式计算工具，使用它能完成表达式的求值操作。例如加，减，乘，除等操作

注意：表达式和运算符之间要有空格，例如 2+2 是不对的，必须写成 2 + 2。
完整的表达式要被 ` ` 包含，注意不是单引号，在 Esc 键下边。

例如，以下表示一些数据的运算

#!/bin/bash
echo "hello world"
a=4
b=20
#加法运算
echo `expr $a + $b`
#减法运算
echo `expr $b - $a`
#乘法运算，注意*号前面需要反斜杠
echo `expr $a \* $b`

#除法运算
echo `expr $b / $a`

注意：

此外，还可以通过(())、 $[]进行算术运算。

count=1
((count++))
echo $count
a=$((1+2))
a=$[1+2]

4.3、流程控制

if else 语句

if condition1
then
command1
elif condition2
then
command2
else
commandN
fi



条件表达式写法
EQ 就是 EQUAL等于
NQ 就是 NOT EQUAL不等于 
GT 就是 GREATER THAN大于　 
LT 就是 LESS THAN小于 
GE 就是 GREATER THAN OR EQUAL 大于等于 
LE 就是 LESS THAN OR EQUAL 小于等于


#!/bin/bash

a=10
b=20

if [ $a -eq $b ]
then
   echo "$a -eq $b : a 等于 b"
else
   echo "$a -eq $b: a 不等于 b"
fi
if [ $a -ne $b ]
then
   echo "$a -ne $b: a 不等于 b"
else
   echo "$a -ne $b : a 等于 b"
fi
if [ $a -gt $b ]
then
   echo "$a -gt $b: a 大于 b"
else
   echo "$a -gt $b: a 不大于 b"
fi
if [ $a -lt $b ]
then
   echo "$a -lt $b: a 小于 b"
else
   echo "$a -lt $b: a 不小于 b"
fi
if [ $a -ge $b ]
then
   echo "$a -ge $b: a 大于或等于 b"
else
   echo "$a -ge $b: a 小于 b"
fi
if [ $a -le $b ]
then
   echo "$a -le $b: a 小于或等于 b"
else
   echo "$a -le $b: a 大于 b"
fi

for循环

方式一
for N in 1 2 3
do
echo $N
done
或
for N in 1 2 3; do echo $N; done
或
for N in {1..3}; do echo $N; done
方式二
for ((i = 0; i <= 5; i++))
do
echo "welcome $i times"
done
或
for ((i = 0; i <= 5; i++)); do echo "welcome $i times"; done

需求：使用for循环打印数字以及当前系统所有进程
#!/bin/bash
#循环打印 1 2 3这三个数字	
for N in 1 2 3
do
 echo $N
done
a=1
b=2
c=3
for N in  $a $b $c
do
 echo $N
done
#打印当前系统所有进程
for N in `ps -ef`
do 
 echo $N
done

while语法

方式一
while expression
do
command
…
done
方式二：
#!/bin/bash
i=1
while (( i <= 3))
do 
 let i++
 echo $i
done

#echo $i
let 命令是 BASH 中用于计算的工具，用于执行一个或多个表达式，变量
计算中不需要加上 $ 来表示变量。 自加操作： let no++ 自减操作： let no—
方式三： 无限循环
while true
do
command
done

case语句

case 值 in
模式 1)
command1
command2
...
commandN
;;
模式 2）
command1
command2
...
commandN
;;
esac
使用case语句实现交互会话
#!/bin/bash
echo '输入 1 到 4 之间的数字:'
echo '你输入的数字为:'
read aNum
case $aNum in
    1)  echo '你选择了 1'
    ;;
    2)  echo '你选择了 2'
    ;;
    3)  echo '你选择了 3'
    ;;
    4)  echo '你选择了 4'
    ;;
    *)  echo '你没有输入 1 到 4 之间的数字'
    ;;
esac

4.4、函数使用

所有函数在使用前必须定义。这意味着必须将函数放在脚本开始部分，直至shell 解释器首次发现它时，才可以使用。调用函数仅使用其函数名即可。

[ function ] funname [()]
{
action;
[return int;]
} 


、可以带 function fun()定义，也可以直接 fun() 定义,不带任何参数。
2、参数返回，可以显示加 return ，如果不加，将以最后一条命令运行结
果，作为返回值。 return 后跟数值 n(0-255)。

函数参数

在 Shell 中，调用函数时可以向其传递参数。在函数体内部， 通过 $n 的形
式来获取参数的值，例如， $1 表示第一个参数， $2 表示第二个参数...
注意， 当 n>=10 时，需要使用${n}来获取参数。
funWithParam(){
echo "第一个参数为 $1 !"
echo "第二个参数为 $2 !"
echo "第十个参数为 $10 !"
echo "第十个参数为 ${10} !"
echo "第十一个参数为 ${11} !"
echo "参数总数有 $# 个!"
echo "作为一个字符串输出所有参数 $* !"
}
funWithParam 1 2 3 4 5 6 7 8 9 34 73

定义我们自己的函数并在shell脚本当中调用函数
#!/bin/bash
hello(){
 echo "hello world"
 echo "第一个参数为 $1"
 echo "第二个参数为 $2"
}
hello abc 123

5、大数据集群环境准备

5.1、三台虚拟机关闭防火墙

三台机器执行以下命令（root用户来执行）

service iptables stop
chkconfig iptables off

5.2、三台机器关闭selinux

vim /etc/selinux/config

5.3、三台机器更改主机名

vim /etc/sysconfig/network

5.4、三台机器做主机名与IP地址的映射

vim /etc/hosts


192.168.52.100 node01.hadoop.com  node01
192.168.52.110 node02.hadoop.com  node02
192.168.52.120 node03.hadoop.com  node03

5.5、三台机器重启

reboot  -h  now

5.6、三台机器机器免密码登录

第一步：三台机器生成公钥与私钥

在三台机器执行以下命令，生成公钥与私钥

ssh-keygen -t rsa

执行该命令之后，按下三个回车即可

第二步：拷贝公钥到同一台机器

三台机器将拷贝公钥到第一台机器

三台机器执行命令：

ssh-copy-id node01.hadoop.com

第三步：复制第一台机器的认证到其他机器

将第一台机器的公钥拷贝到其他机器上

在第一天机器上面指向以下命令

scp /root/.ssh/authorized_keys node02.hadoop.com:/root/.ssh
scp /root/.ssh/authorized_keys node03.hadoop.com:/root/.ssh

5.7、三台机器时钟同步

第一种同步方式：通过网络进行时钟同步

通过网络连接外网进行时钟同步,必须保证虚拟机连上外网

ntpdate us.pool.ntp.org;

阿里云时钟同步服务器

ntpdate ntp4.aliyun.com

三台机器定时任务

crontab  -e

*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;

或者直接与阿里云服务器进行时钟同步

crontab -e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

第二种时钟同步方式：通过某一台机器进行同步

以192.168.52.100这台服务器的时间为准进行时钟同步

第一步:确定是否安装了ntpd的服务

rpm -qa  | grep  ntpd

如果没有安装,可以进行在线安装

yum -y install ntpd

启动ntpd的服务

service  ntpd  start

设置ntpd的服务开机启动

chkconfig ntpd on

第二步:编辑/etc/ntp.conf

编辑第一台机器的/etc/ntp.conf

vim /etc/ntp.conf

在文件中添加如下内容

restrict  192.168.52.0  mask  255.255.255.0  nomodify  notrap

注释一下四行内容
#server  0.centos.pool.ntp.org
#server  1.centos.pool.ntp.org
#server  2.centos.pool.ntp.org
#server  3.centos.pool.ntp.org

去掉以下内容的注释，如果没有这两行注释，那就自己添加上
server   127.127.1.0  #  local  clock
fudge    127.127.1.0  stratum  10

配置以下内容，保证BIOS与系统时间同步

vim  /etc/sysconfig/ntpd

添加一行内容

SYNC_HWLOCK=yes

第三步：另外两台机器与第一台机器时间同步

另外两台机器与192.168.52.100进行时钟同步

crontab  -e
*/1 * * * * /usr/sbin/ntpdate 192.168.52.100

5.8、三台机器安装jdk

查看自带的openjdk

rpm -qa | grep java

卸载系统自带的openjdk

rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 --nodeps

上传jdk并解压然后配置环境变量

说明：为了保持我们的安装环境统一和一致，我们这里创建两个约定俗称的文件夹，来进行我们的软件包的存放和软件的安装所有软件的安装路径

mkdir -p /export/servers

所有软件压缩包的存放路径

mkdir -p /export/softwares

上传jdk到/export/softwares路径下去，并解压

tar -zxvf jdk-8u141-linux-x64.tar.gz -C ../servers/

配置环境变量

vim /etc/profile


export JAVA_HOME=/export/servers/jdk1.8.0_141
export PATH=:$JAVA_HOME/bin:$PATH


修改完成之后记得  source /etc/profile生效

华为开发者空间

华为开发者空间，是为全球开发者打造的专属开发空间，汇聚了华为优质开发资源及工具，致力于让每一位开发者拥有一台云主机，基于华为根生态开发、创新。

更多推荐

解析openGauss账本数据库

华为开发者空间

GaussDB的向量化处理技术

华为开发者空间

丽水学院·华为云HCSD校园沙龙圆满落幕，共绘数字教育新篇章！

华为开发者空间

所有评论(0)

查看更多评论

vx-Yang_Gaige

@qq_31784189

已为社区贡献2条内容

大数据基础增强（1）

vx-Yang_Gaige

（1）三台虚拟机环境准备

（2）linux基础及shell增强

（3）大数据集群环境准备

（4）zookeeper介绍及集群操作

（5）网络编程

2、三台虚拟机创建并联网

第一种方式：通过iso镜像文件来进行安装

2.1、创建一台虚拟机出来

第一步：创建一台虚拟机出来

2.2、为我们的虚拟机挂载操作系统

2.3、开启我们的虚拟机，为我们的虚拟机进行安装操作系统

2.4、配置虚拟机连接网络

修改linux的mac地址

修改mac地址配置文件

需要启动我们的linux的虚拟机，然后更改mac地址的配置文件

修改网络配置

重启服务器

修改完成之后，重启服务器

检测能够正常联网

第二种方式：直接复制安装文件（强烈推荐）

三台机器规划

通过直接复制安装后的安装文件，然后更改mac地址与ip地址也可以实现虚拟机的快速创建

注意事项：windows系统确认所有的关于VmWare的服务都已经启动，

确认好VmWare生成的网关地址，另外确认VmNet8网卡已经配置好了IP地址。

第一步：将我们安装后的文件夹直接复制一份出来

将我们的Centos6.9_001这个文件夹复制三份出来，分别命名CDH1，CDH2，CDH3

第二步：让VmWare加载三台虚拟机

依次进入到三个文件夹当中，然后点击CentOS 6 64 位.vmx来让VmWare加载我们的linux操作系统

第三步：VmWare当中改名并更改mac地址

我们可以在虚拟机当中更改我们的名称为CDH1,CDH2,CDH3，并为三台虚拟机更改mac地址

第四步：开启linux系统更改设置

注意事项：windows系统确认所有的关于VmWare的服务都已经启动，

确认好VmWare生成的网关地址，另外确认VmNet8网卡已经配置好了IP地址。

启动我们的linux系统，并更改mac地址与IP地址

更改mac地址：

更改IP地址：

第五步：linux系统重启

关机重启linux系统即可进行联网了

第二台第三台机器重复上述步骤，并设置IP网址为192.168.52.110，192.168.52.120

3、linux基础增强

3.1、查找命令

grep命令

find命令

Locate命令

whereis命令

which命令

3.2、用户与用户组

添加普通用户

添加用户组：groupadd storm 表示我们自己添加了一个storm的组

3.3、su与sudo

su的使用

su 不足： 如果某个用户需要使用 root 权限、则必须要把 root 密码告诉此用户。退出返回之前的用户

sudo使用

使用 root 用户编辑/etc/sudoers 文件，给普通用户授权命令行输入 visudo，打开/etc/sudoers 文件，加入如下的内容，保存。

这样普通用户就可以使用 sudo 执行 root 权限的命令了。

如果想要更加精准的控制，就需要理解配置中的含义。

案例：只允许 hadoop 用户以 root 身份在 node-23 上执行 ls 、 cat 命令，并且执行时候免输入密码。配置文件中：

执行非 ls 、 cat 命令也会禁止。

而 cat 命令就可以执行。

3.4、linux的权限管理

chown -R hadoop:hadoop abc.txt 改变某个文件或者文件夹的所属的用户以及用户组

第一个参数 -R 表示我们递归的进行改变

第二个参数 hadoop:hadoop 表示我们的用户以及用户组

第三个参数:我们需要改变的文件或者文件夹

3.5、系统服务管理

3.6、网络管理

主机名配置

IP 地址配置

方式一： setup（强烈不建议使用）

方式二：修改配置文件(重启后永久生效，强烈建议使用)

修改IP地址：

修改mac地址：

方式三： ifconfig 命令(重启后无效，强烈不建议使用)

通过ifconfig命令可以临时更改我们的ip地址，但是服务器重启之后无效 ifconfig eth0 192.168.12.22

域名映射

/etc/hosts 文件用于在通过主机名进行访问时做 ip 地址解析之用。所以，你想访问一个什么样的主机名，就需要把这个主机名和它对应的 ip 地址，配置在/etc/hosts 文件中

网络端口监听

只列出监听中的连接netstat –tnl 可以看到处于监听状态的 TCP 端口和连接

su 不足：如果某个用户需要使用 root 权限、则必须要把 root 密码告诉此
用户。
退出返回之前的用户

使用 root 用户编辑/etc/sudoers 文件，给普通用户授权
命令行输入 visudo，打开/etc/sudoers 文件，加入如下的内容，保存。

案例：只允许 hadoop 用户以 root 身份在 node-23 上执行 ls 、 cat 命令，
并且执行时候免输入密码。
配置文件中：

通过ifconfig命令可以临时更改我们的ip地址，但是服务器重启之后无效
ifconfig eth0 192.168.12.22

只列出监听中的连接
netstat –tnl 可以看到处于监听状态的 TCP 端口和连接

crontab 是 Unix 和 Linux 用于设置周期性被执行的指令。通过 crontab 命令，可以在固定间隔时间执行指定的系统指令或 shell 脚本。时间间隔的单位可

使用 vi 编辑器新建一个文件 hello.sh。扩展名并不影响脚本执行，见名知意。比如用 php 写 shell 脚本，扩展名就用 .php。

局部变量：

环境变量：

所有的程序，包括 shell 启动的程序，都能访问环境变量，有些程序需要环境变量来保证其正常运行。可以用过 set 命令查看当前环境变量。

shell 变量：

在执行 Shell 脚本时，可以向脚本传递参数。
脚本内获取参数的格式为： $n。 n 代表一个数字， 1 为执行脚本的第一个参数， 2 为执行脚本的第二个参数，以此类推…… $0 表示当前脚本名称。

注意：表达式和运算符之间要有空格，例如 2+2 是不对的，必须写成 2 + 2。
完整的表达式要被 ` ` 包含，注意不是单引号，在 Esc 键下边。

所有函数在使用前必须定义。这意味着必须将函数放在脚本开始部分，直至shell 解释器首次发现它时，才可以使用。调用函数仅使用其函数名即可。