本人三台节点:hadoop01,hadoop02,hadoop03(部署hive,mysql)

默认jdk,zookeeper,hadoop,hbase,kafka,flume,hue,spark已经安装

#一.zookeeper启动  (QuorumPeerMain)

1.启动zookeeper
      启动:bin/zkServer.sh start   (单台节点启动命令)
      关闭:bin/zkServer.sh stop    (单台节点关闭命令)
      查看:bin/zkServer.sh status  (单台节点查看命令)
2.启动zookeeper中shell的操作(启动zookeeper服务)
      启动: bin/zkCli.sh
      关闭:  quit


#二.hadoop启动
  

 1.进入hadoop>sbin(这是用管理员的命令,里面存放在都是脚本)
          启动脚本命令:  ./start-all.sh  hdfs和yarn都会启动 (此时会hadoop01会启动8个,但是haddoop02没有启动ResourceManager这不是bug漏洞)
        接着启动hadoop02的ResourceManager:      命令 yarn-daemon.sh start resourcemanager (start)
                                                      yarn-daemon.sh stop resourcemanager   (stop)

        启动单个节点的namenode命令:sbin/hadoop-daemon.sh start namenode
    
2.启动hdfs (JournalNode,NameNode, DataNode, DFSZKFailoverController)          (web访问  hadoop01:50070)
        启动:sbin/start-dfs.sh
        关闭:sbin/stop-dfs.sh

3.启动yarn  (ResourceManager,NodeManager)                (web访问  Hadoop01:8088)
        启动:sbin/start-yarn.sh
        关闭:sbin/stop-yarn.sh
        


#三.hbase启动 (HMaster HRegionServer) (仅依赖hdfs,hdfsHA依赖zookeeper   首先启动zookeeper,然后在启动sbin/start-dfs.sh)     
    (必须时间同步,不然hbase进程很容易挂掉)
  

  启动:bin/start-hbase.sh       (注意时间同步)                                  (web访问  hadoop01:60010)
    关闭:bin/stop-hbase.sh
    进入:  hbase shell
    退出:     exit

#四.kafka启动 (kafka依赖zookeeper可以实现对kafka集群的管理) (每台kafka服务器都要启动)       
  

 启动:bin/kafka-server-start.sh config/server.properties &   (加上&就是后台启动)
    关闭:kill -9 进程号 或 ctrl+c
    新api使用
    消费者启动:bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
    生产者启动:bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
        再打开一个消费者如果从头开始消费:
        bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test (--from-beginning)
    查看topic列表
        bin/kafka-topics.sh --zookeeper localhost:2181/kafka1.0 --list
        


#五.flume启动
  

 启动:bin/flume-ng agent -n agent -c conf -f conf/flume-conf2.properties  -Dflume.root.logger=INFO,console  (hadoop01)
          bin/flume-ng agent -n agent -c conf -f conf/flume-conf.properties  -Dflume.root.logger=INFO,console   (hadoop02)
          bin/flume-ng agent -n agent -c conf -f conf/flume-conf.properties  -Dflume.root.logger=INFO,console   (hadoop03)

    关闭:kill -9 进程号 或 ctrl+c

#六.hive启动 (启动之前要开启mysql服务,依赖zookeeper,hadoop中HDFS Yarn)

    启动mysql服务 (hadoop03中root用户启动mysql服务)  查看:service mysqld status 
                                                       启动:service mysqld start   
                                                       关闭:service mysqld stop 
    问题:linux下mysql中文乱码?  
            永久解决:1.:首先用命令进入到vim /etc/my.cnf,(可能有的没有这个文件打开是空的,可以直接添加下面的语句
                        如果root用户/etc/my.cnf有这个文件的话那就修改下面的这些语句:
                            [client]
                            default-character-set=utf8
                            [mysql]
                            default-character-set=utf8
                            [mysqld]
                            init_connect='SET collation_connection = utf8_unicode_ci'
                            init_connect='SET NAMES utf8'
                            character-set-server=utf8
                            collation-server=utf8_unicode_ci
                            skip-character-set-client-handshake
                      2.重启mysql服务:service mysql restart
                      3.:进入mysql    用命令查看一下几个地方是不是变成了utf8,命令是:show variables like "%char%";
            
    hadoop03节点启动mysql
        启动:mysql -u hive -h hadoop03 -p    (密码是hive)
        退出:exit; 或者 ctrl+c
    说明:启动hive 
    启动:bin/hive
    关闭  exit; 或者 ctrl+c
    Hive Web 界面的启动命令:bin/hive --service hwi   (必须先启动hive,进入hive界面)
    通过浏览器访问 Hive,默认端口为 9999。  (http://hadoop03:9999/hwi/)

#七.hue启动    (访问地址:hadoop03:8888 )   
  

 启动命令:/home/hadoop/app/hue-3.9.0-cdh5.10.0/build/env/bin/supervisor
      
   

#八,spark启动
    

启动:    在主节点执行以下命令
            sbin/start-all.sh
            再选择一个节点作为master启动,执行命令如下
            sbin/start-master.sh
            sbin/stop-master.sh
    查看主节点web界面
        http://hadoop01:8888/

Logo

华为云1024程序员节送福利,参与活动赢单人4000元礼包,更有热门技术干货免费学习

更多推荐